小明的博客

速查表对应的pdf源文件 正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。 特殊符号： ".“表示任意字符,”*"表示其前边的字符可以出现0次及以上 python中有一个re库用来进行在python中实现正则表达式的所有功能。 在正则表达式中，如果直接给出字符，就是精确匹配。用\d可以匹配一个数字，\w可以匹配一个字母或数字，所以：.可以匹配任意字符，所以： 'py.'可以匹配'pyc'、'pyo'、'py!'等等。 语法简介 锚点 "^“匹配输入字符串的开头位置，”$"表示匹配输入字符串的结尾字符 限定符 要匹配变长的字符，在正则表达式中，用*表示任意个字符（包括 0 个），用+表示至少一个字符，用?表示 0 个或 1 个字符，用{n}表示 n 个字符，用{n,m}表示 n-m...

图像处理 图像处理一般指数字图像处理，大多数依赖于软件实现。 其目的是去除干扰、噪声，将原始图像编程为适合计算机进行特征提取的形式。 图像处理主要包括图像采集、图像增强、图像复原、图像编码与压缩和图像分割。 图像采集 数字图像数据提取的方式 图像增强 为了使图像的主体结构更加明确,必须对图像进行改善。 减少噪声 改变原有图像的亮度、色彩分布、对比度等参数 提高图像的清晰度、质量 使图像中的物体轮廓更加清晰 细节更加明显 为后期的图像分析和图像理解奠定基础 图像复原 为了提取比较清晰的图像，需要对图像进行恢复。 图像恢复主要采用滤波方法。从降质的图像恢复原始图像。 图像复原的另一种特殊技术是图像重建，该技术是从物体横剖面的一组投影数据建立图像。 图像编码与压缩 为了能快速方便地在网络环境下传输图像或视频，必须对图像进行编码和压缩。 目前，图像压缩编码已形成国际标准。例如静态图像压缩标准JPEG，该标准主要针对图像的分辨率、彩色图像和灰度图像，处理为适用于网络传输的数码相片、彩色照片等方面。 视频可以被看作是一幅幅不同但又紧密相关的静态图像的时间序列，动态视频的单帧图像压缩可...

使用 sklearn 做特征工程 特征工程是什么？ 本文中使用 sklearn 中的 IRIS（鸢尾花）数据集[1]来对特征处理功能进行说明。IRIS 数据集由 Fisher 在 1936 年整理，包含 4 个特征（Sepal.Length（花萼长度）、Sepal.Width（花萼宽度）、Petal.Length（花瓣长度）、Petal.Width（花瓣宽度）），特征值都为正浮点数，单位为厘米。目标值为鸢尾花的分类（Iris Setosa（山鸢尾）、Iris Versicolour（杂色鸢尾），Iris Virginica（维吉尼亚鸢尾））。导入 IRIS 数据集的代码如下： from sklearn.datasets import load_iris  #导入IRIS数据集 iris = load_iris()  #特征矩阵 iris.data #目标向量 iris.target 数据预处理 我们使用 sklearn 中的 preproccessing 库来进行数据预处理，可以覆盖以上问题的解决方案。 2.1 无量纲化 无量纲化使不同规格的数据转换到同...

Python 中与文件路径有关的模块是 os 模块 路径获取 取得当前工作目录：os.getcwd() 取得绝对路径：os.path.abspath(str)#str 表示文件名 取得相对路径：os.path.relpath(path,start)#传回从 start 到 path 的相对路径，省略则会传回当前工作目录到 path 的相对路径 路径检查 exist(path):检查 path 是否存在 isabs(path):检查是否是绝对路径 isdir(path):检查是否是文件夹 isfile(path):检查是否是文件 针对文件的操作 mkdir(path):建立 path 文件夹 rmdir(path):删除 path 文件夹，但必须是空的文件夹 remove(path):删除 path 文件 chdir(path):将当前工作文件夹改至 path。 #在D盘创建文件夹，在文件夹内创建若干个文件from genericpath import existsimport osfrom time import sleepfile_path="D:\\fi...

数据可视化的主要方法是借助 matplotlib 或者 Seaborn。除了这些以外，通过类似于Bokeh或者Plotly工具我们已经可以借助用浏览器创建动态可交互的图像（基于 python）。 内容简介 大部分可视化库都是利用[图形框架语法]来构建图像，可以自己定义轴，线，框这些元素，保证了高度的自由度。 五个比较关键的库： 更多细节的对比: 学习路线 matplotlib：matplotlib 的自定义化程度高，语法相对比较复杂，不作为主力可视化方法（学习成本相对较高），不过底层逻辑的一些东西要清楚，大部分可视化的库都是建立在这个库的基础之上，具体的绘图函数之类的东西不必太过认真看，有些内容调节起来过于繁琐。 Seaborn： seaborn 的语法比较简单，图形本身比较美观易用，这个库的学习主要借助官方文档，明白 seaborn 的可视化上限和自定义程度即可。 creating interactive graphics Plotly 相关说明： plotly 是一个基于 javascript 的绘图库，plotly 绘图种类丰富，效果美观； 易于保存与分享 plo...

点击查看【bilibili】 1 章 绪论.pdf 2 章 离散信源及其信息测度.pdf intro 熵可以从随机变量状态需要的平均信息量角度理解, 也可以从描述统计力学中无序程度的度量角度理解。从平均信息量的角度来看，对于不确定性事件，可以用消除其不确定性需要的信息量(bit 数)来表示，这里表示成−log⁡pi-\log p_i−logpi​,而考虑到随机事件的不确定性，可以通过对信息量求期望得到某随机事件（随机变量）的信息熵，信息熵越大，则说明（消除随机性）需要的信息量越大，即不确定性越大。 一般来说，对于随机变量XXX，其信息熵定义如下: H(X)=−∑i=1np(xi)log⁡2p(xi)H(X)=-\sum\limits_{i=1}^{n}p(x_i)\log_2{p(x_i)} H(X)=−i=1∑n​p(xi​)log2​p(xi​) if p=0p=0p=0，then plog⁡2p=0p\log_2{p}=0plog2​p=0 H(X)H(X)H(X)越小，XXX的纯度越高。非均匀分布比均匀分布熵要小。 熵衡量的是不确定性，概率描述的是确定性，其实确定性和不...

有了准备知识，我们就可以在 Python 中使用正则表达式了。Python 提供re模块，包含所有正则表达式的功能。 re.compile(pattern, flags=0)： 将字符串形式的正则表达式编译为 Pattern对象。有的时候进行复杂的匹配，可以通过先对模式进行编译来加快匹配速度 re.finditer(string, pos, endpos)： 从string任意位置开始匹配， 返回一个迭代器。 一般匹配findall就可以了， 大数量的匹配还是使用finditer比较好。 由于 Python 的字符串本身也用\转义，所以要特别注意： s = 'ABC\\-001' 因此我们强烈建议使用 Python 的**r**前缀，就不用考虑转义的问题了： s = r'ABC\-001' 首次匹配：match and search（） re.match(string, pos, endpos)： 从string的开头开始匹配。 re.search(string, pos, endpos)： 从string的任意位置开始匹配，默认返...

主要来对比几种不同风险损失函数之间的区别，对机器学习策略有一个更加深入的了解。 周志华老师在讲解Adaboost这章时提到过指数损失函数和0/1损失函数是一致的替代损失函数，二者均达到了贝叶斯最优错误率。

Duality (optimization) In mathematical optimization theory, duality or the duality principle is the principle that optimization problems may be viewed from either of two perspectives, the primal problem or the dual problem. The solution to the dual problem provides a lower bound to the solution of the primal (minimization) problem.However in general the optimal values of the primal and dual problems need not be equal. Their difference is called the duality gap. For convex optimization proble...

IPython 是一种基于 python 的交互式解释器，提供了强大的编辑和交互能力。 对于对象功能的查询操作，Ipython 提供了两种方法： object?：返回变量的详细信息，查询变量类型或者函数帮助 object??:与上一个功能相似，还可以查看函数或者模块对象的源代码 Ipython 中有一种魔术命令，相当于提供了一种简便进行交互的方式。魔术命令分为两种： 以%开头，是作用于行的魔术命令 %pdoc 打印对象的文档字符串 %quickref#查看语法和魔法命令 %magic:获取所有魔法命令及其用法 %timeit#测量语句的执行时间 %run test.py #运行 python 程序（脚本） %load test.py #导入文件 %paste #从剪切板运行代码 %cpaste #防止粘贴错误，允许查看并运行 %save path n1,n2,n3:保存指定的 cell %bookmark:将常用目录保存为别名，方便使用 以%%开头，表示在整个 cell 单元起作用 %%timeit#测量 cell 的执行时间 %%latex:latex 渲染 %%...