CSV读取、CSV生成、CSV及下载、Java http请求、Base64转换。在做Walmart 库存拉取库存时刚好用到了上面的记录下来

已于 2025-01-16 22:13:33 修改
阅读量436 收藏 2
点赞数 3
CC 4.0 BY-SA版权
文章标签： java http python
于 2024-09-02 17:37:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Andychen2015/article/details/141824542

1、在pom引入一些架包

      

<!-- 以前的同事使用，感觉还挺好用-->    
        <dependency>
			<groupId>com.squareup.okhttp3</groupId>
			<artifactId>okhttp</artifactId>
			<version>3.14.9</version>
		</dependency> 
<!-- 不确定是否使用，有时间再验证-->    
        <dependency>
		    <groupId>org.jumpmind.symmetric</groupId>
		    <artifactId>symmetric-csv</artifactId>
		    <version>3.5.19</version>
        </dependency>
        <dependency>
		    <groupId>com.opencsv</groupId>
		    <artifactId>opencsv</artifactId>
		    <version>4.4</version>
			<exclusions>
				<exclusion>
					<groupId>commons-logging</groupId>
					<artifactId>commons-logging</artifactId>
				</exclusion>
			</exclusions>
		</dependency>

2、http连接

2.1、以前的同事使用的，感觉挺好用的便记录下来，架包要先引进来

注意：Accept可为  application/json、text/plain。这里指的是服务器返回给我们数据类型，拉库存返回的Text所以要使用text/plain。要不然会报 406 not accept able!

import java.util.UUID;


    String uuid = UUID.randomUUID().toString();//java自带的UUID
    String token = "XXXXXXXX";
    String site = "xx";

    OkHttpClient client = new OkHttpClient();
    Request request = new Request.Builder().url(baseUrl).get().addHeader("Accept", "text/plain")
							.addHeader("WM_SVC.NAME", "Walmart Marketplace").addHeader("WM_MARKET", site)
							.addHeader("WM_SEC.ACCESS_TOKEN", token)
							.addHeader("Authorization", "Basic " + encodeIdAndKey(customerId, privateKey))
							.addHeader("WM_QOS.CORRELATION_ID", uuid).build();

try {
						Response response = client.newCall(request).execute();
						if (response.code() == 200) {
							String body = response.body().string();

							List<PlatformInventoryDto> inventoryList = buildInventory(
									accountSite.getPlatformAccountName(), accountSite.getPlatformName(), siteName,
									warehouseName, body);
							boolean insertUpdateResult = platformInventoryUtilService.insertUpdate(inventoryList);
							if (!insertUpdateResult) {
								log.info("inventory {} false " , accountSite.getPlatformAccountName());
							}
						} else {
							log.info("get WalmartWFSInventory error ,code : {} ,msg: {}", response.code(),
									response.message());
							// response.code()
						}
					} catch (IOException e) {
						// e.printStackTrace();
						log.error("WalmartWFSInventory error {} ", e.getMessage());
					}

2.2、直接使用java的写法

 直接上代码

public  String  getToken(String cid, String key , String site) {
		String url1 = "xxxxxxxxxxxx";
		
		String uuid = UUID.randomUUID().toString();
		HttpURLConnection connection = null;
		URL url = null;
		BufferedReader reader = null;
		String result = null;
		StringBuffer sbf = null;
		String strRead = null;
		ObjectMapper mapper = new ObjectMapper();
		String accessToken = null;
		try {
			url = new URL(url1);
			connection = (HttpURLConnection) url.openConnection();
			connection.setDoOutput(true);
			connection.setDoInput(true);
            connection.setConnectTimeout(20 * 1000);
            connection.setReadTimeout(20 * 1000);
			connection.setInstanceFollowRedirects(false);
			connection.setRequestMethod("POST");
			connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded");
			connection.setRequestProperty("Accept", "application/json");
			connection.setRequestProperty("WM_SVC.NAME", "Walmart Marketplace");
			connection.setRequestProperty("WM_MARKET", site);
			connection.setRequestProperty("Authorization", "Basic " + encodeIdAndKey(cid, key));
			connection.setRequestProperty("WM_QOS.CORRELATION_ID", uuid);
			connection.setUseCaches(false);
			OutputStreamWriter writer = new OutputStreamWriter(connection.getOutputStream());
			writer.write("grant_type=client_credentials");
			writer.flush();
			System.out.println(connection.getResponseCode());
			InputStream is = connection.getInputStream();
			reader = new BufferedReader(new InputStreamReader(is, "UTF-8"));
			sbf = new StringBuffer();
			while ((strRead = reader.readLine()) != null) {
				sbf.append(strRead);
				sbf.append("\r\n");
			}
			reader.close();
			result = sbf.toString();
			Map<String, String> resMap = null;
			resMap = mapper.readValue(result, new TypeReference<Map<String, String>>() {
			});
			accessToken = resMap.get("access_token");
		} catch (IOException e) {
			//logger.error(e.getMessage(), e);
		}

		return accessToken;
	}

3、读取CSV文件

 private List<PlatformInventoryDto> buildInventory(String accountName,String platformName,
    		String siteName,String warehouseName,String inventoryCSV) {
        List<PlatformInventoryDto> inventoryList = new ArrayList<PlatformInventoryDto>(100);
        Map<String,PlatformInventoryDto> inventoryMap = new HashMap<>();
        
        if(inventoryCSV == null) {
        	return null;
        }
        //如果是文件，这里修改成FileInputStream
        ByteArrayInputStream ais = new ByteArrayInputStream(inventoryCSV.getBytes());
        
        InputStreamReader isr = new InputStreamReader(ais);
        CSVReader reader = new CSVReader(isr);
        
        List<String[]> lines  = new ArrayList<>();
		try {
			lines = reader.readAll();
		} catch (IOException e) {
			//e.printStackTrace();
			log.error(e.getMessage());
		}
        
        
        Date confirmDate = new Date();
        
        PlatformInventoryDto inventory = null;
        int lineIndex = 1;
        for (String[] line : lines) {
        	if(lineIndex <= 1) {
        		lineIndex++;
        		continue;
        	}
        	String sellerSku = line[2];
        	String qty = line[6];
        	
        	Integer qtyTemp = new Integer(qty);
        	
        	if(inventoryMap.containsKey(sellerSku)) {
        		//Integer qtyPre = inventory.getQtySiteSku();
        		
        		inventory.setQtySiteSku(inventory.getQtySiteSku() + qtyTemp );
        	} else {
        		inventory = new PlatformInventoryDto();
                inventoryList.add(inventory);

                inventory.setSiteSku(sellerSku);
                inventory.setQtySiteSku(qtyTemp);
                inventory.setAccountName(accountName);
                inventory.setPlatformName(platformName);
                inventory.setSiteName(siteName);
                inventory.setWarehouse(warehouseName);
                //站点SKU在平台上的ID
                //asin = stock.getSku();
                //inventory.setPlatformSkuId(asin);
                inventory.setConfirmDate(confirmDate);
        	}
        }
        return inventoryList;
    }

4、 Base64生成

直接使用java的转换一下 

	public String encodeIdAndKey(String cid, String key) {
		Base64.Encoder encoder = Base64.getEncoder();
		String text = cid + ":" + key;
		byte[] apiKeyByte = null;
		String encodedText = null;
		try {
			apiKeyByte = text.getBytes("UTF-8");
			encodedText = encoder.encodeToString(apiKeyByte);
		} catch (UnsupportedEncodingException e) {
			log.error(e.getMessage(), e);
		}

		return encodedText;
	}

5、 406 Not acceptable报错解决

 

注意：Accept可为  application/json、text/plain。这里指的是服务器返回给我们数据类型，拉库存返回的Text所以要使用text/plain。要不然会报 406 not accept able! 

还是要单独出来，毕竟有可能这就是跨不过的槛。

6、生成CSV并下载代码

后端代码

package com.springstudy.util;

import java.io.ByteArrayOutputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.OutputStream;
import java.io.OutputStreamWriter;

import com.opencsv.CSVWriter;

public class CSVUtils {
	public static void createCSV() {
		String csvFile = "D:/study/javarabbitmqworkspace/fanoutWorkspace/springdemo/doc/csv/csvtest.csv";
		try (CSVWriter writer = new CSVWriter(new FileWriter(csvFile))) {
            String[] header = {"Name", "Email", "Phone"};
            writer.writeNext(header);
            String[] line1 = {"John,Doe%￥@！）（*&……%￥#@！", "john.doe@example.com", "1234567890"};
            writer.writeNext(line1);
            String[] line2 = {"Jane Smith中文", "jane.smith@example.com", "0987654321"};
            writer.writeNext(line2);
            // 写入更多行数据
            System.out.println("CSV文件已生成！");
        } catch (IOException e) {
            e.printStackTrace();
        }
	}
	
	public static byte[] createCSVOutputSteam() {
		String csvFile = "D:/study/javarabbitmqworkspace/fanoutWorkspace/springdemo/doc/csv/csvtest.csv";
		ByteArrayOutputStream out = new ByteArrayOutputStream();
		try (CSVWriter writer = new CSVWriter(new OutputStreamWriter(out))) {
            String[] line2 = {"Jane Smith中文", "jane.smith@example.com", "0987654321"};
            for(int i=0;i<50000;i++)
            	writer.writeNext(line2);
            System.out.println("CSV文件已生成！");
        } catch (IOException e) {
            e.printStackTrace();
        }
		return out.toByteArray();
	}
	
	public static void createCSVOutputSteam(OutputStream out) {
		try (CSVWriter writer = new CSVWriter(new OutputStreamWriter(out))) {            
            String[] line2 = {"Jane Smith中文", "jane.smith@example.com", "0987654321"};
            for(int i=0;i<50000;i++)
            	writer.writeNext(line2);
            // 写入更多行数据
            System.out.println("CSV文件已生成！");
        } catch (IOException e) {
            e.printStackTrace();
        }
	}

	public static void main(String[] args) {
		CSVUtils.createCSV();
	}
}

Controller类

package com.springstudy.controller;

import java.io.OutputStream;
import java.util.HashMap;
import java.util.Map;

import javax.servlet.http.HttpServletResponse;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.ResponseBody;

import com.springstudy.domain.User;
import com.springstudy.service.IExcelService;
import com.springstudy.util.CSVUtils;

@Controller//标识是
@RequestMapping("/csvdemo")//整体标识
public class CSVDemoController {
	//解决一些问题
	private final IExcelService excelService;
	
	public CSVDemoController(IExcelService excelService) {
		this.excelService = excelService;
	}

	//普通的写法，不建议这么写
	@PostMapping("/downloadcsv")
	public void downloadExcel(HttpServletResponse response,@RequestBody User user) {

		byte[] excelBytes = CSVUtils.createCSVOutputSteam();
		OutputStream out = null;
		try {
			response.setContentType("application/csv");
			response.setCharacterEncoding("UTF-8");
			response.setHeader("Content-Disposition", "inline");
            response.setHeader("myfilename", "csvDownloadDemo.csv");
            response.setHeader("flag", "1");
			out = response.getOutputStream();
			out.write(excelBytes);
		} catch (Exception e) {
			//e.printStackTrace();
		}finally {
			try {
				if(out!=null) out.close();
			} catch (Exception e) {
				//e.printStackTrace();
				//logger.error("print price error 6 : {}",e);
			}
		}
	}
	
	//比上面会快很多
	@PostMapping("/downloadcsvsplit")
	public void downloadcsvsplit(HttpServletResponse response,@RequestBody User user) {

		
		OutputStream out = null;
		try {
			response.setContentType("application/csv");
			response.setCharacterEncoding("UTF-8");
			response.setHeader("Content-Disposition", "inline");
            response.setHeader("myfilename", "csvDownloadDemo.csv");
            response.setHeader("flag", "1");
			out = response.getOutputStream();
			
			CSVUtils.createCSVOutputSteam(out);
		} catch (Exception e) {
			//e.printStackTrace();
		}finally {
			try {
				if(out!=null) out.close();
			} catch (Exception e) {
			}
		}
	}
	
	// localhost:8089/myspringdemo/exceldemo/parametertestone
	@GetMapping("/parametertestone")//声明是get
	@ResponseBody//Spring MVC将会处理方法的返回值，并使用合适的HttpMessageConverter将返回值写入输出流。这通常用于返回JSON或XML等数据格式。
	public String  parameterTestOne(
			//name和value的效果一样.required默认为true，如果不是必须输入的则可设置为false
			@RequestParam(name="number",required=false) String number,
			String name) {
		return number + " goodluck";
	}
	
	@PostMapping("/parametertesttwo")//声明是Post
	@ResponseBody
	public String  parameterTestTwo(@RequestParam(name="number") String number) {
		return number + " goodluck";
	}
	
	@PostMapping("/parametertestthree")
	@ResponseBody
	public String  parameterTestThree(@RequestBody User user) {
		return " goodluck";
	}


}

前端代码

downlaodCsv: function() {
      
      var _this = this;
      this.$message({
          showClose: true,
          message: 'Hello World!',
          type: 'info'
        });

      var user = {
          "aid": 1
        };

        this.$axios.post("/csvdemo/downloadcsvsplit",user,{responseType: 'arraybuffer'}).then((res)=>{
          
            //let ct = res.ContentType;
            console.log(res);
            var fileName = res.headers['myfilename'];
            var contenttype = res.headers['content-type'];
            
            console.log(fileName);
            const blob = new Blob([res.data],{
              type: contenttype
            });
            var body = document.getElementsByTagName('body')[0];
            const a = document.createElement('a');
            a.download = fileName;
            a.href = URL.createObjectURL(blob); //创建连接
            body.appendChild(a); //添加a标签
            a.click();
            body.removeChild(a); //移除a标签
            URL.revokeObjectURL(a.href); //关闭连接

        }).catch(() => {
                  _this.$message({
                  type: 'info',
                   message: 'CheckOut Cancel1'
                    });
              });
    },
    downlaodCsvdemo: function() {
      
      var _this = this;
      this.$message({
          showClose: true,
          message: 'Hello World!',
          type: 'info'
        });

      var user = {
          "aid": 1
        };

        this.$axios.post("/csvdemo/downloadcsv",user,{responseType: 'arraybuffer'}).then((res)=>{
          
            //let ct = res.ContentType;
            console.log(res);
            var fileName = res.headers['myfilename'];
            var contenttype = res.headers['content-type'];
            
            console.log(fileName);
            const blob = new Blob([res.data],{
              type: contenttype
            });
            var body = document.getElementsByTagName('body')[0];
            const a = document.createElement('a');
            a.download = fileName;
            a.href = URL.createObjectURL(blob); //创建连接
            body.appendChild(a); //添加a标签
            a.click();
            body.removeChild(a); //移除a标签
            URL.revokeObjectURL(a.href); //关闭连接

        }).catch(() => {
                  _this.$message({
                  type: 'info',
                   message: 'CheckOut Cancel1'
                    });
              });
    },

hogn2015
关注
C#图像爬虫实战：从Walmart网站下载图片
Z_suger7的博客
09-18 907
通过本文的介绍，我们学习了如何使用C#和CsQuery库来创建一个简单的图像爬虫，用于从Walmart网站下载图片。这个过程涉及到设置代理服务器、下载和解析网页、提取图片元素以及下载图片文件。虽然这个示例是针对Walmart网站的，但相同的技术可以应用于其他任何网站，只需适当调整URL和选择器即可。
OkHttp 下载文件实现
flaming的专栏
01-13 3550
OkHttp 下载文件实现 public static boolean DownloadFile(final String uri, final String filePath) { OkHttpClient client = new OkHttpClient(); Request request = new Request.Builder().url
base64文件与字符串互转
08-23
base64将文件（图片或其它）转码成字符串，将字符串还原成文件
Java处理post请求中的csv文件（判断文件编码）
wd_n_m_d_的博客
07-11 2068
今天在工作中遇到了一个需求，需要用Java处理post请求中的csv文件，由于之前没处理过，遇到了很多问题，特此记录。 由于具体的业务会有区别，本文主要介绍了处理逻辑的代码，如需要请结合具体业务与注释做出修改即可。 pom坐标 <!--GetByteEncode,用来判断二进制字节流的编码--> <dependency> <groupId>com.googlecode.juniversalchardet</groupId&gt
JAVA导出数据保存为CSV文件
不言而喻i的博客
04-25 7337
1.html文件： <form action="/prospect/downloadPhone" method="post" > <div class="alert alert-warning col-lg-5" role="alert" id="alertSelect" style="display: none"&g...
Java使用OkHttpClient处理响应数据（文件流、JSON、文本等）
7c
07-06 8756
在使用OkHttpClient时，可以通过检查Response对象的内容类型(Content-Type)来确定返回的响应是否是文件流。如果文件流是以特定的Content-Type（如"application/octet-stream"）返回的，则可以将响应的body作为输入流处理，设置Content-Disposition头信息，提示浏览器以附件方式下载文件。如果是非文件流，我们将直接返回响应数据（如JSON、文本等）...
现取前端base64转csv和csv转base64
SYXZSs的博客
05-10 1266
环境： 1：上传： 将要上传的文件转为base64编码，然后将base64编码发送给后端 2：下载： 将后端返回的base64编码转为文件并且下载 此处用于csv文件，文件后缀可自行更改 let keyStr = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/="; let Base64 = { encodeFuc: function (input) { let output = "", chr1
沃尔玛历史销售数据集 CSV（6435条记录）【500010044】
10-25
该数据集是沃尔玛历史销售数据的一个CSV文件，包含6435条记录，涉及时间跨度为2010年2月5日至2012年11月1日。这样的数据集对于理解和分析零售行业的销售趋势，以及进行预测模型的构建具有极大的价值。下面将详细阐述...
PyPI 官网下载 | python-walmart-0.1.7.tar.gz
01-15
《PyPI官网下载：python-walmart-0.1.7.tar.gz——探索Python库的奥秘》 在Python的世界里，PyPI（Python Package Index）是开发者们分享和获取开源软件包的重要平台。"PyPI官网下载 | python-walmart-0.1.7.tar.gz...
marketplace-walmart-sdk:SDK C# da API 做市场沃尔玛
05-29
沃尔玛市场API（Marketplace Walmart API）是沃尔玛提供的一套接口，允许开发者和商家通过编程方式与沃尔玛电商平台进行交互，包括商品管理、订单处理、库存更新等一系列操作。本SDK（Software Development Kit）是...
simple-walmart-api
05-19
SimpleWalmartApi 最小的示例walmart api应用程序。要求为了构建和运行应用程序，您需要： 在本地运行应用程序mvn spring-boot:run在浏览器上浏览应用程序http://localhost:8080api的端点 版权
java Base64Utils.java 文件
09-25
使用 RSA 前端加密，后端解密的解决方法，其中Base64Utils.java为后端解密依赖！
Springboot 导出、导入csv文件(包含base64图片)
chenxue843400447的博客
02-17 1799
注意要点: 1、csv中会对数字超过12位时会变为科学计数，超过15位时其他位变为0.解决办法: 在数字后面加上 "\t" 2、图片转换为base64时，sun.misc.BASE64Encoder 方法 Base64一行不能超过76字符，超过会自动换行。在windows系统表现为\r\n ，linnux表现为: \n。 java.util.Base64 方法的加码不会生成换行符。建议推荐使用这个。 csv工具类: package com.hikvision.modules.util; /*.
Android文字图片写入CSV(Base64)并分享
Dream It Possible
08-16 1543
做的一个分享的功能，将文字图片以CSV的形式分享到邮件之类的应用。首先，CSV逗号分隔值文件格式(Comma-Separated Values)，纯文本形式，逗号分隔，一行数据不跨行。图片转换成Base64字符串public String writeBase64(String path) {　　　　　　　　　　//path图片路径 byte[] data = null;
【Java】http/https/ftp路径的图片转base64
xiaowangbadan0_0的博客
01-06 499
主要代码如下 package com.example.demo; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.InputStream; import java.net.HttpURLConnection; import java.net.URL; import java.security.KeyManagementException; import java.security.NoSu
Java编写图片转base64
m0_59239420的博客
10-24 295
Java编写图片转base64
Java 图片URL转Base64编码
Maggieq8324的博客
08-02 1万+
前言 实现方式：通过图片URL获取二进制流，再对字节数组进行Base64编码转换 具体实现 实现类 import sun.misc.BASE64Encoder; import java.io.ByteArrayOutputStream; import java.io.InputStream; import java.net.HttpURLConnection; import java.net.URL; import java.util.regex.Matcher; import java.util.r
java：文件转base64,支持图片和doc/csv/pdf等常用文件
热门推荐
qiaodaima0的博客
06-30 1万+
最近项目搭建了服务器集群，然后在解决文件的远程上传下载，查看，不想用ftp,想用http来搞，这就涉及到文件的传输问题，转base64挺不错。 本地的话直接用IO流就可以了，因为集群后不能保证文件一定在客户当时进入的那台保存会有一些问题，只能搞远程。 直接上代码了：FileConvertBase64 import org.slf4j.Logger; import org.slf4j.LoggerFactory; import sun.misc.BASE64Encoder; import java.io.F
深度解析Find My API高级功能：精准定位、OTA更新与HomeKit协同实战
最新发布
moton2017的博客
04-16 895
以下是 Apple Find My API 的高级用法，涵盖 精准定位、事件推送、OTA更新、多设备协同 等高级功能，帮助开发者实现更复杂的应用场景：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值