段智华
智华专注于GenAI/LLM大模型技术的研究,参与了7本书籍的写作,拥有5项申请发明专利,10多项软著,以及4篇IEEE国际会议论文。参与Gavin大咖主编,北京航空航天大学出版社2024年5月最新出版的2本图书著作:《Transformer&ChatGpt解密:原理、源码及案例》、《Transformer& Rasa 解密 原理、 源码及案例》,共撰写1996篇原创博客文章,涵盖Transformer、GPT-4、ChatGPT、Llama2/3、Langchain、Mistral、Mixtral、Rasa、AI机器学习、Spark大数据等主题。博客文章的总阅读量为323万次。
展开
-
第46课:Spark中的新解析引擎Catalyst源码初探 SQLContext、Catalog、SqlParser 、analyzer、optimizer、QueryExecution、RDD
第46课:Spark中的新解析引擎Catalyst源码初探1、入口val sc =new SparkContext(conf)val sqlcontext =new SQLContext(sc) //sql子框架基于spark context。处理结构化数据的入口。sqlcontext.scala2、Catalog初步的处理,例如查询一个表,表中的列原创 2016-12-04 11:45:17 · 982 阅读 · 0 评论 -
scala 连接符解析 ~ ^^ <~ ~> 基础
scala 连接符解析 ~ ^^ import scala.annotation.migrationimport scala.util.parsing.combinator.JavaTokenParsersabstract class Exprcase class Variable(name: String) extends Exprcase class Number原创 2016-12-27 22:10:10 · 2140 阅读 · 0 评论 -
scala 连接符解析 基础 @
scala 连接符解析 基础 import scala.util.parsing.combinator._object ArithExpr extends JavaTokenParsers { def expr: Parser[Any] = { log(term)("加减法表达式 term") ~ rep("+" ~ log(term)("加法 t原创 2016-12-28 21:46:29 · 2891 阅读 · 0 评论 -
从jvm来看,scala中的@究竟是个什么鬼?@模式匹配符号(scala 词法分析 语法分析 常用)
从jvm来看,scala中的@究竟是个什么鬼? 我也是初步尝试来看jvm的类文件,又是初次来分析@,如不对的地方,请各位指正!先看一下@ 是个什么? /** * Created by admin on 2016/12/29. */object test7 { def main(args: Array[String]) { val b=Some(2)原创 2016-12-29 12:06:53 · 3279 阅读 · 0 评论 -
ANTLR 宝藏入门之路 hello World初认识
ANTLR hello World原创 2017-02-09 14:43:54 · 1126 阅读 · 0 评论 -
spark catalyst 中的strategy 自定义研究
Roll your own Planner Rule => Can we do better !2016 Spark-Summit-EU-talk-by-Herman-van-Hovell 的实例:package com.dt.spark.sparksqlimport java.lang.Longimport org.apache.log4j.{Level, L原创 2017-01-28 09:12:41 · 1336 阅读 · 0 评论 -
spark catalyst中的DSL 解析
spark catalyst中的DSL 解析来自源代码import org.apache.spark.sql.catalyst.expressions.Literalimport org.apache.spark.sql.catalyst.dsl.expressions._Literal(1) + Literal(1)'a.attr'b.attr.toString()原创 2017-01-29 08:23:50 · 2124 阅读 · 0 评论 -
27.1.1.3 Spark SQL 中ANTLR4的应用
27.1.1.3 Spark SQL 中ANTLR4的应用ANTLR是一个强大的解析器生成器,可用于读取,处理,执行或翻译结构化文本或二进制文件。它广泛应用于学术界和工业界,建立各种语言,工具和框架。例如:Twitter搜索使用ANTLR进行查询解析,每天有超过2亿次查询。Hive和Pig语言,Hadoop的数据仓库和分析系统都使用ANTLR。Lex Machina使用ANTLR从法律文本中提取信原创 2017-07-08 21:25:25 · 6323 阅读 · 0 评论