编译原理 - 词法分析器

题目

提供一个包含源代码的source.txt，其内容如下：
/example/
b=1\
00
101:a=2*(1+3)
IF ( b > 10 ) THEN a=1
ELSE IF(b>=5) THEN
a=2
ELSE
GOTO 101
要求先将源代码进行预处理，把预处理的结果保存在”预处理.txt”中，然后判断其中的
K:关键字
I:标识符
O:操作符
P:界符
L:标量
C:常数
并且将结果保存在”二元式表.txt”中

思路

一、 观察source.txt如下

二、进行预处理，

• 预处理第一步：使整个source.txt内容变成一个字符串，同时去掉连接符符"\"和多多余的空格
• 预处理第二部：去掉注释得到如下的字符串

三、对”>”, “<”, “<=”, “>=”, “=”, “<>”, “+”, “-“, “*”, “/”:这些符号的两边加空格得到如下内容，以方便后续操作

四、使用split函数，将这个函数的参数设置为空格" "，得到如下内容

五、判断上图每个字符串的属性——是关键字还是标识符还是巴拉巴拉的（你懂得��），并且将结果输出来，得到如下内容

代码

package 编译原理实验一;

import java.util.Scanner;
import java.io.*;
/**
 * Created by luopu on 2017/5/20.
 */
public class A {
    static String filePath=new String("");
    static String fileContent=new String("");
    static String original_str=new String("");

    static String[] k_word={"IF", "ELSE", "THEN", "GOTO"};
    static String[] c_word={"0", "1", "2", "3", "4", "5", "6", "7", "8", "9"};
    static String[] o_word={">", "<", "<=", ">=", "=", "<>", "+", "-", "*", "/"};
    static String[] p_word={"(", ")", "{", "}", ";", ":"};

    private static Scanner sc=new Scanner(System.in);

    public static void main(String args[]) {
        System.out.print("请输入文件路径: ");
        filePath=sc.next();
        readTextFile(filePath);  // 读取txt内容，并且预处理第一步：删除连接符和换行符
        String pre_str=pretreat(original_str);  // 预处理第二步
        writeFile(pre_str, "预处理.txt");
        String space_str=addSpace(pre_str).replaceAll("  ", " "); // 添加空格 并且把双空格变成单空格
        space_str=space_str.trim(); // 去掉首尾空格
        writeFile(space_str, "空格串.txt");
        String[] str=space_str.split(" ");  // 根据空格划分字符串
        String[] kind=new String[str.length]; // 储存每个字符串的属性
        for (int i = 0; i < str.length; i++) {
            kind[i]=panduan(str[i]);
            if(str[i].equals(":")) { // 对标量进行判断
                kind[i-1]="L";
            }
            if(str[i].equals("GOTO")) { // 对标量进行判断
                kind[i+1]="L";
                i++;
            }
        }
        for (int i = 0; i < str.length; i++) {
            fileContent=fileContent+"["+kind[i]+", "+str[i]+"]"+"\n";
        }
        writeFile(fileContent, "二元式表.txt");
        fileContent="";
        for (int i = 0; i < str.length; i++) {
            fileContent=fileContent+str[i]+"\n";
        }
        writeFile(fileContent, "split.txt");

    }

    public static void readTextFile(String filePath){ // 读取txt文本内容，保存至original_str
        try {
                String encoding="GBK";
                File file=new File(filePath);
                if(file.isFile() && file.exists()){ //判断文件是否存在
                    InputStreamReader read = new InputStreamReader(
                    new FileInputStream(file),encoding);//考虑到编码格式
                    BufferedReader bufferedReader = new BufferedReader(read);
                    String fileText=new String();
                    while((fileText = bufferedReader.readLine()) != null){ //预处理第一步：去掉分隔符和回车
                        if(fileText.charAt(fileText.length()-1)!='\\') {
                            original_str=original_str+fileText.trim()+" ";
                        } else  {
                            original_str=original_str+((fileText.substring(0, fileText.indexOf('\\'))).trim());
                        }
                    }
                    read.close();
                } else {
                    System.out.println("找不到指定的文件");
                }
            } catch (Exception e) {
                System.out.println("读取文件内容出错");
                e.printStackTrace();
        }  
    }

    public static String pretreat(String str) {// 预处理
        StringBuffer pre_str;       
        StringBuffer sb_str = new StringBuffer(); //预处理第二步：删除注释
        sb_str.append(str);
        int begin=str.indexOf("/*");
        int end=str.indexOf("*/")+2;
        pre_str=sb_str.delete(begin, end);              
        return pre_str.toString().trim();
    }

    public static String addSpace(String str) { // 添加空格
        StringBuffer sb=new StringBuffer();  // 便于使用insert函数
        sb.append(str);
        for(int i=0; i<sb.length(); i++) {
            if(isIn(sb.charAt(i))) {
                sb.insert(i++, ' ');
                i++;
                if((sb.charAt(i-1)=='<'||sb.charAt(i-1)=='>')&& // 对"<=",">=","<>"进行特殊处理
                    sb.charAt(i)=='='||sb.charAt(i)=='>') {
                    sb.insert(++i, ' ');
                } else {
                    sb.insert(i, ' ');
                }
            }
        }
        return sb.toString();
    }

    public static boolean isIn(char c) { // 判断是否添加空格
        char[] words={'(', ')', '{', '}', ';', '=', '>', '<', ':', '+', '-', '*', '/'};
        for(int i=0; i<words.length; i++) {
            if(c==words[i]) {
                return true;
            }
        }
        return false;
    }

    public static String panduan(String str) { // 判断字符串的属性 但不包括对标量的判断
        for(int i=0; i<k_word.length; i++) {
            if(str.equals(k_word[i])) {
                return "K";
            }
        }
        for(int i=0; i<o_word.length; i++) {
            if(str.equals(o_word[i])) {
                return "O";
            }
        }
        for(int i=0; i<p_word.length; i++) {
            if(str.equals(p_word[i])) {
                return "P";
            }
        }
        for(int i=0; i<c_word.length; i++) {
            if((str.substring(0, 1)).equals(c_word[i])) {
                return "C";
            }
        }
        return "I";
    }

    public static void writeFile(String content, String fileName) { // 将内容写入txt文件
        FileOutputStream fop = null;
        File file;
        try {
            file = new File(fileName);
            fop = new FileOutputStream(file, false);
            if (!file.exists()) {
                file.createNewFile();
            }
            byte[] contentInBytes = content.getBytes();
            fop.write(contentInBytes);
            fop.flush();
            fop.close();
            System.out.println("Done");
        } catch (IOException e) {
              e.printStackTrace();
          } finally {
              try {
                  if (fop != null) {
                      fop.close();
                  }
              } catch (IOException e) {
                      e.printStackTrace();
                }
          }
    }
}

对java不熟悉，有什么做的不好的地方，欢迎指正，也欢迎搭讪(￣▽￣)~*，联系方式戳此

学习使我进步，学习使我快乐，我热爱学习:)