zhixingheyi_tian的博客

PDF

GoLand

无状态请求，服务器端所能够处理的数据全部来自请求所携带的信息，无状态服务对于客户端的单次请求，不依赖于其他请求，处理一次请求的信息都包含在该请求里。总结：有状态服务需要大量的信息和状态，在性能方面要稍逊于无状态服务器，无状态在处理简单服务方面有优势，服务之间没有联系，易于扩展，但处理复杂任务需要额外的组件来协助（有状态服务的形式实现）。状态是web服务的概念，比如不需要登录的浏览门户网站就是无状态的，需要登陆转账买东西这种就是有状态的。Session，可以使http服务转换为有状态服务。

Google

Velox

parquet type

Ninja

round()

Links

Parquet Meta

Arrow parquet 之 Int64 Reader

parquet cpp lib

Arrow parquet

encoding

Arrow parquet

glibc

Arrow bulider

Arrow Build

Arrow validity buffer

Gandiva

行访问C++中数组在内存中是按行存放的，因此在访问多维数组时，尽量按行访问，避免按列访问。因为按列访问，会导致跳跃式访问内存，数据量大的时候，会导致频繁的Cache换入换出，对Cache很不友好。指令预取程序中的热点函数尽量放在一起，方便指令预取，减小指令缓存的占用，同时，模块间的函数调用，可以通过调整编译器链接顺序，来调整指令位置。...

SSESSE指令集是英特尔提供的基于SIMD（单指令多数据，也就是说同一时间内，对多个不同的数据执行同一条命令）的硬件加速指令，通过使用寄存器来进行并行加速。经过几代的迭代，最新的SSE4已经极大地扩展了指令集的功能，并且随后已经从128位寄存器继续扩展到256位的指令。#include <mmintrin.h> //mmx, 4个64位寄存器#include <xmmintrin.h> //sse, 8个128位寄存器#include <emmintrin.h&

Branch PredictionCPU流水线可大致划分为4个阶段：指令预取、指令解码、执行和结果回写。Branch Prediction，即分支预测，目的是保证大部分时间下CPU流水线都处于满负荷状态，保证正在执行的线程以最高效率运行。当程序代码出现条件分支语句时，条件分支语句的下条指令直到条件结果计算完毕后才能确定。在结果计算完毕前，CPU流水线都无法进行指令预取和指令解码(这是因为无法确定下一条指令)，也就是流水线stall了。为了解决流水线stall，提升执行效率，CPU的分支预测硬件模块在条

test result#读取int型一列，做baselineGoogleBenchmarkColumnarToRow/CacheScan/1536/10/iterations:10/process_time/threads:1 0.734 s 0.736 s 10 batch_buffer_size=32k batches=489 columns=16 init_time=6.34947G num_rows=16M parquet_parse=4.7894

NumericArray/// Concrete Array class for numeric data.template <typename TYPE>class NumericArray : public PrimitiveArray { public: using TypeClass = TYPE; using value_type = typename TypeClass::c_type; using IteratorType = stl::ArrayIterato

Buffer 转成数据类型std::vector<std::shared_ptr<arrow::Buffer>> buffers; std::vector<int64_t> in_buf_addrs; std::vector<int64_t> in_buf_sizes; for (int i = 0; i < rb_schema->num_fields(); ++i) { ASSERT_NOT_OK(AppendBuffers

Concatenate ListArrayTEST(TestConcatenate, ListType) { auto nestype = list(arrow::int8()); auto array1 = ArrayFromJSON(nestype, "[[1, 2], [3, 4]]"); auto array2 = ArrayFromJSON(nestype, "[[5, 6, 7], null]"); auto array3 = ArrayFromJSON(nestype, "[

arrowTypeToProtobufArrowTypeHelper.java:316org.apache.arrow.gandiva.expression.ArrowTypeHelper.arrowTypeToProtobuf /** * Converts an arrow type into a protobuf. * * @param arrowType Arrow type to be converted * @return Protobuf represe

ArrayBuilder and Slice UTTEST(TestNestArrayPrototype, ListType) { auto nestype = std::make_shared<ListType>(list(arrow::int8())); auto nestarray = ArrayFromJSON(nestype, "[[[1, 2], [3, 4]], [[5, 6, 7], null, [8]], [[9, 10]]]"); auto nestlistar

serialize and deserializeTEST_F(JniUtilsTest, TestSchema) { auto f_arr_int32 = field("f_int32", arrow::int32()); auto f_arr_map = field("f_map", map(int32(), int32())); auto rb_schema = arrow::schema({f_arr_int32, f_arr_map}); std::cout << "

FieldVector ArrayDataArrow Java里的数据结构FieldVector 等同于 cpp 里的ArrayDataFieldVector 有很多这类而ArrayData就是单个数据结构，兼容各类类型 primitive、nest typeMap 中的ArrayData handing// ----------------------------------------------------------------------// MapArrayMapArra

AvroToArrowUtilsarrow/java/adapter/avro/src/main/java/org/apache/arrow/AvroToArrowUtils.java private static Field avroSchemaToField( Schema schema, String name, AvroToArrowConfig config, Map<String, String> externalProps) {

ListVector @Override public void initializeChildrenFromFields(List<Field> children) { if (children.size() != 1) { throw new IllegalArgumentException("Lists have only one child. Found: " + children); } Field field = children.get(0

ListArray如下图，双层List第一个层的offset 是对自己的元素全部拉平进行分组，就是对以下进行分组后的offset：[[5,6,7],null,[8]] offset 起始位置自然是2[1,2],[3,4],[5,6,7],null,[8],[9,10]第二个层的offset 也是对自己的元素全部拉平进行分组，就是对以下进行分组后的offset：[3,4] offset 起始位置自然是21,2,3,4,5,6,7,null,8,9,10...

getTypeBufferCountarrow/java/vector/src/main/java/org/apache/arrow/vector/TypeLayout.java @Override public Integer visit(Struct type) { // validity buffer return 1; } @Override public Integer visit(Timestamp ty

arrow/cpp/src/arrow./adapters/orc/CMakeLists.txt./adapters/tensorflow/CMakeLists.txt./array/CMakeLists.txt./c/CMakeLists.txt./compute/CMakeLists.txt./compute/exec/CMakeLists.txt./compute/kernels/CMakeLists.txt./csv/CMakeLists.txt./dataset/CMakeLis

RecordBatchStreamReader// ----------------------------------------------------------------------// RecordBatchStreamReader implementationclass RecordBatchStreamReaderImpl : public RecordBatchStreamReader { public: Status Open(std::unique_ptr<Mess

AppendArraySliceAppendArraySlice 这个接口，目前每个 builder 都会有.所以最终的copy 实现是在builder_primitive.hNumericBuilder 之 AppendArraySlicearrow/cpp/src/arrow/array/builder_primitive.h Status AppendArraySlice(const ArrayData& array, int64_t offset,

目录RecordBatchRecordBatch::MakeSimpleRecordBatchRecordBatcharrow/cpp/src/arrow/record_batch.h/// \class RecordBatch/// \brief Collection of equal-length arrays matching a particular Schema////// A record batch is table-like data structure that is sema

Typesstruct Type { /// \brief Main data type enumeration /// /// This enumeration provides a quick way to interrogate the category /// of a DataType instance. enum type { /// A NULL type having no physical storage NA = 0, /// Boolea