请选择 进入手机版 | 继续访问电脑版

热点推荐

查看: 28|回复: 0

中山大学的学霸小哥开源了一个能帮你做高数题的AI

[复制链接]
  • TA的每日心情
    无聊
    2019-1-5 10:01
  • 签到天数: 33 天

    [LV.5]常住居民I

    2090

    主题

    1481

    帖子

    8076

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    8076
    发表于 2019-6-21 10:46:23 | 显示全部楼层 |阅读模式
    文章开始红色石头先在草稿纸上写一道高数微积分题目给大家看看如何求解:
    ab6d8ba54f894275b9d2cdcb1c969e96.jpg
    怎么算呢?趁着高数知识还没忘完,赶紧拿起纸演算起来。大部分人是这么做的。但是如果现在跟你说,可以用 AI 来做,你信吗?
    现在就有这样一个 AI 程序,你只要轻松上传上面这张手写算术题,程序就能帮你自动分析,写出解题步骤和答案!你信吗?就像下面一样:
    fd3398f179024caba60b6ffa5a7ade73.jpg
    Amazing!有没有!今天就给大家介绍这个有趣的 mathAI 项目。它是一个拍照做题程序。输入一张包含数学计算题的图片,就会自动输出识别出的数学计算式以及计算结果。
    项目介绍
    该项目名为:mathAI,是一个自动计算手写公式的程序。作者是一名中山大学的学霸硕士小哥 Roujack,他的研究方向就是计算机视觉。
    fe35520d05764a73810549b293239bf9.jpg
    整个程序使用 Python 实现,具体处理流程包括了图像预处理、字符识别、数学公式识别、数学公式语义理解、结果输出。
    整个系统流程图如下:
    6d18149369bd4cfeb8588f255f0e99aa.jpg
    1. 预处理
    首先,需要对手写图片进行预处理。图片预处理以 OpenCV 作为主要工具。预处理的主要目的是把图片中的字符切割出来,同时避免无关变量对字符识别的影响。
    预处理主要包括:灰度化、二值化、高斯滤波、字符切割与细化。
    1c7b3881a421441093ae60b68865fd53.jpg
    对图片预处理的效果如下图所示:
    fb47f4cd3132421d9b48d7cbe5883a4a.jpg
    2. 字符识别
    预处理之后,下一步就是对字符进行识别。选择的模型是卷积神经网络 LeNet5,因为不需要提取字符特征值,而且图像识别精确度高。
    bb47c062b2c8455984701f4771a60532.jpg
    训练网络选用的数据集是国际数学公式识别比赛数据集(CROHME)。CROHME 数据集具有海量字符集图片,而且图片类型与实际输入非常相似。每种字符有 400 张图片,其中 60% 的图片用于训练,40% 的图片用于测试。
    2d44211e76fd4884a363b86434a3c32a.jpg
    接下来就是结构分析和语义分析。
    总的来说,对于数学公式的识别,主要是将识别出的独立的字符组织成计算机能够理解的数学公式(这里的数学公式就是纯字符的可求解的数学计算题)。大概的方法是使用编译原理的算符优先法和递归下降法进行实现。 然后根据属性文法的值传递思想,将数学公式的值计算出来。最后使用 Python 的 Matplotlib 库把计算过程和答案打印出来。
    实验结果
    模型训练完成之后,作者验证了字符识别的准确率:
    82771de975ef4b189c32193991499488.jpg
    然后,作者对 160 道测试题进行测试,系统做对 127 道题目,正确率为 79.38%。可以说相当不错了!
    0fdc2d9b3c74428fa087b2597c183e43.jpg
    项目开源
    真正令人激动是作者已将这个项目的源码发布在了 GitHub 上,供大家查看。开源地址为:
    https://github.com/Roujack/mathAI
    GitHub 上公开了系统代码。
    fcdbb042686749d9bad2c8c5fabcded3.jpg
    其实,这是一个半开源的项目,目前上传的版本只能处理较简单的一维算术表达式(如果想要识别更加复杂的表达式,可以参考数学公式识别的论文)。可以参考的代码是前面字符识别部分以及整个算法处理框架。
    例如图像预处理代码:
    d8c0af20eb6d414a9267207ca7c2dc42.jpg
    例如字符识别代码:
    cba2b73f225d47d39833d681f2c09dcd.jpg
    运行程序
    要运行这个系统分为两种,一种是网页模式,一种是接口模式。
    1. 网页模式
    在项目的网页上,输入图片,即可获得处理结果。
    203ab6d5323d4ed58607f162eee09497.jpg
    2. 接口模式
    项目有一个 solver 的 Python package。里面的 solve 方法封装了整个系统。其功能是输入一张图片路径,将输出计算题识别过程和计算结果。
    49196c4d9df34f6fbb2eb8b6886367ba.jpg
    作者还专门录制了一个视频,讲解如何在网页模式上运行程序并验证正确率。视频放在下面,感兴趣的可以看一下。

    优点与缺点
    优点:这是一整套拍照做题的算法框架,同时能够处理多种多样的计算题,目前市面上还没有看到实现。OCR 技术如此成熟的今天字符识别已经不算有挑战的东西了。
    缺点:字符空间关系判断只用了人类启发式规则,图像预处理不够鲁棒,数学公式的结构识别算法不够完美(可以考虑使用二维文法来做)。系统还有很大的提升空间。
    总的来说,这个程序相对比较简单,能够实现一般的手写图片微积分高数题,较复杂的还不能实现。但是该项目确实是一个有意思的尝试,相信作者也会不断优化。有兴趣的可以看一下,试一试你手写的算术题,看看准确率如何。
    来源:AI科技大本营

    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    
    技术支持
    在线咨询
    邮箱
    mukedada@126.com
    微信扫一扫
    直接访问本页内容
    快速回复 返回顶部 返回列表