魔改教程
借鉴大佬们的美化教程对博客进行魔改，一些比较基础的页面美化
遗传算法
当进化与选择的朴素观念在当代的前沿领域生根发芽，事情逐渐变得有趣起来。 Fitness calculation →Reproduction→Mutation→Fitness calculation 达尔文的进化论讲的是什么？在一个自然存在的生物种群中，生物生存的自然环境会对生物进行选择，在选择上存下来的个体有更大的机会去将自己的基因传递给下一代，传递过程中会发生基因的变异（mulate）和杂交（crossover）来保证基因在传递过程中的多样性和稳定性。 人们在进化论的启发下，设计出一种进化算法（Evolutionary Algorithms）。 通过对原始问题进行编码，首先初始化一个合适的可行方案集，然后通过建立适当的评估函数对所有的评估方案进行评估，虽然可能所有的评估方案距离期望达到的效果都比较差，但是可以在这这里边选择相对比较好的方案赋予他们在杂交过程中更大的优势，让那些效果比较好的可行方案有更大的概率进行杂交，同时在杂交的过程中进行一定程度的变异，对最终产生的结果进行新一轮的评价。 Genetic Algorithms.一般来说，只要我们建立合适的fitness...
PageRank
聊一聊第一好用的浏览器搜索引擎谷歌背后的故事
Pd实战
主要写一些平时看到的比较常用的一些pd的函数的应用，通过应用场景来辅助更好地理解pandas。 合并高度对称的列 在实际运用过程中，我们可能会拿到形如以下形式的数据: 这样的数据集存在几个列的内容完全一致，因此我们希望实现的一个功能就是将这几个列的值合成一个列，得到形如下图的数据形式: import pandas as pddf = pd.DataFrame({ '爱好1': {'小明': '睡觉', '小红': '弹琴'}, '地点1': {'小明': '床上', '小红': '家'}, '爱好2': { '小明': '骑马', '小红': '开车' }, '...
PyCaret
PyCaret是Python中的低代码机器学习开发平台，能够自动完成机器学习的整个工作流。 这个库提供了借助相对工整的数据（无缺失值、类型明确）对一类的机器学习模型（分类、回归、聚类）进行训练，该库能够自己对数据集进行处理，并且能够自动生成模型，除此以外还能进行模型的评价和在测试集上的训练，这些都可以在官方文档中的QuickStart中查看。 这个库非常好的一点在于可以直接根据输入数据来判断数据类型然后作相应的数据处理操作，除此以外它也支持自定义的数据处理操作，这些操作可以在官方文档中的Preprocessing中查看。 最后，这个库也支持对于某一个特定的模型进行调优，这些调优可以在官方文档中的Hyperparameter Tuning中查看。
文本模糊匹配
文本模糊匹配主要是指对两段文本含义相近程度的计算，当我们需要处理的数据集比较多样或者是未标准化的脏数据时，通过模糊匹配主要实现的是去除重复值的操作。 高级的模糊匹配涉及到的是自然语言处理的一部分内容，这里所说的模糊匹配则是一种相对比较简单的匹配方式,例如两个相近的表达方式(‘underground’ ‘subway’),一些可能出现的拼写错误和较小的语法错误或句法偏移(‘apple’ ‘appel’)以及一些并列词语位置的颠倒之类的等等一些不会涉及到语义分析的一些内容。 Python中的fuzzywuzzy库为我们提供了上述所说的功能,这个库中有几种方法: fuzz.ratio(str1,str2)：返回两个字符串的差异主要是一些拼写错误导致的可能(返回值为1-100) fuzz.partial_ratio(str1,str2)：返回两个字符串表达相同含义可能(返回值1-100)，这种方法会对子字符串进行一个匹配，也可以对一些意思相近的词语进行一个更好的识别 token_sort_ratio：匹配时不考虑单词顺序 process ：有限选项中部分数据杂乱的匹配效果比较好 ...
html
简介 HTML 是用来描述网页的一种语言。 HTML 指的是超文本标记语言 (Hyper Text Markup Language) HTML 不是一种编程语言，而是一种标记语言 (markup language) 标记语言是一套标记标签 (markup tag) HTML 使用标记标签来描述网页 HTML 标记标签通常被称为 HTML 标签 (HTML tag): HTML 标签是由尖括号包围的关键词，比如 <html> HTML 标签通常是成对出现的，比如 <b> 和 </b> 标签对中的第一个标签是开始标签，第二个标签是结束标签 开始和结束标签也被称为开放标签和闭合标签 html文档包括html标签和纯文本，html文档也被称为网页。Web浏览器的作用是读取HTML文档，并以网页的形式显示出来。 常用的html标签 一个html文档大概会包括以下内容，复杂网页一般会包括更多不同的标签以及对标签进行属性的调整来得到更加丰富的页面。 <html> <body> <h1>My First Headin...
网页抓包
网页抓包主要指的是对网页的跟踪，包括网页的访问时间、访问者的 IP 地址、访问者的浏览器等信息。在爬虫的过程中，我们看到的网页可能并非是一次就加载出来的，有的网页也可能会分好几步加载，因此跟踪网页的整个加载过程，只有完全掌握了网页抓包的操作，才能得到存放我们需要数据的页面。 网页抓包主要借助的是浏览器的开发者工具，接下来就按照我将使用本博客来对开发者工具进行介绍。 在博客的初始页面打开开发者工具，可以看到如下界面： 默认开发者工具栏出现在右侧，这里为了使用方便放在了下侧，功能一样的。 首先打开的是元素页，这个页面可以用来查看网页的 html 格式和 css 的源码，可以通过左上方小箭头样式来跟踪网页的结构，这对于我们快速定位爬取数据在 html 中的位置有很大的帮助，另外也可以借助右侧的 css 栏目来查看网页加载的 css，每一个样式右上方的蓝色链接存放着 css 的链接，可以用来提取网页美化的样式。 接着是控制台一栏，这一栏我平时用的很少，可以类比为网页的命令行工具，可以用来调取各种你需要的内容（调试 js 代码，调取日志等） 再然后是源代码一栏: 这一栏是非常重要的一栏...
Python数据结构
数据类型 一般来说读写数据常常涉及的两种数据类型是文本数据与二进制数据(图片、语音），Python中对于这两大类数据的操作主要使用其内置的两种数据类型——字符串与字节数组： 字节数组: 8 比特整数组成的序列，用于存储二进制数据。 字符串: Unicode 字符组成的序列，用于存储文本数据 字节 & 字节数组 字节是不可变的，像字节数据组成的元组； 字节数组是可变的，像字节数据组成的列表。 bytes 类型值的表示形式比较特殊：以 b 开头，接着是一个单引号，后面跟着由十六进制数（例如 \x02）或 ASCII 码组成的序列，最后以配对的单引号结束。 a = [1, 2, 1, 3]print(bytes(a))b=bytearray(a)print(b)b.append(3)print(b) 字符串 Unicode Unicode编码是一种国际化的编码方式，存储在其中的每一个字符都有自己独特的名字(帮助理解的标准名称)和标识数(Unicode ID)。 在Python中，我们如果知道某个字符的的Unicode ID那么就可以通过字符串的形式来引用该字符，一般有两种...