自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

灵动的艺术的博客

千里马常有而伯乐不常有

  • 博客(21)
  • 收藏
  • 关注

原创 深度学习Python协程

深度学习Python协程基本定义可迭代对象迭代器生成器yield协程基本案例协程状态使用协程连续计算平均值协程返回值yield fromyield from与同步非阻塞基本定义可迭代对象可迭代对象(Iterable):可以直接作用于for循环的对象统称为可迭代对象。可以使用isinstance()判断一个对象是否是Iterable对象。>>> from collectio...

2018-12-24 19:49:06 556 3

原创 精通RabbitMQ之死信队列与延迟任务调度

精通RabbitMQ之死信队列与延迟任务调度死信队列死信队列实现延迟任务application.ymlAMQPConfig.java消息发送到设置过期事件的队列消费死信队列中的延迟之后的消息死信队列在某些情况下,例如当一个消息无法被成功路由时,消息或许会被返回给生产者并被丢弃;或者如果我们为消息设置了有效期,延期后消息会被放入一个所谓的死信队列中。此时,消息生产者可以选择配置死信队列参数来处理...

2018-12-23 12:54:34 1364

原创 精通RabbitMQ之RPC同步调用

精通RabbitMQ之RPC同步调用前面我们对应用解耦做过分析,我们能够使用消息中间件来完成应用解耦,很大一部分原因是因为我们的系统之间可以异步处理并且不关心结果回执。假如我们现在需要异步处理的结果,我们还可以使用消息队列吗?实际上Rabbitmq是支持Remote procedure call (RPC)同步调用的。RabbitMQ RPC同步调用实际上是使用了两个异步调用完成的,生产者投递...

2018-12-23 12:33:31 2405 1

原创 精通RabbitMQ之Exchange和路由分发

精通RabbitMQ之Exchange和路由分发交换机默认交换机直连交换机广播交换机主题交换机头交换机交换机交换机的责任主要在于路由分发生产者的消息到队列中,一个Exchange可以binding多个Queue,一个Queue可以同多个Exchange进行binding。默认交换机前面我们聊过,我们在简单的使用过程中甚至可以不声明交换机,但这并不意味者rabbitmq可以没有exchang...

2018-12-23 12:27:38 594

原创 精通RabbitMQ之消息确认回执和拒绝

精通RabbitMQ之消息确认回执和拒绝消费消息确认显式确认模式确认消息API拒绝消息API发送消息确认事务confirm消费消息确认从安全角度考虑,网络是不可靠的,消费者是有可能在处理消息的时候失败。而我们总是希望我们的消息不能因为处理失败而丢失,基于此原因,rabbitmq提供了一个消息确认(message acknowledgements) 的概念:当一个消息从队列中投递给消费者(con...

2018-12-23 12:16:38 4275 2

原创 精通RabbitMQ之安装RabbitMQ

精通RabbitMQ之安装RabbitMQ安装说明选择版本Centos下安装Erlang安装RabbitMQ安装启动rabbitmq开启管理虚拟主机(vhost)与用户管理登录管理控制台安装说明前面我们说过,RabbitMQ的服务端是使用Erlang语言编写的,所以我们需要首先安装Erlang。并且我们需要注意Erlang和RabbitMq版本需要一致,否则会因为版本不匹配而安装失败。选择版...

2018-12-23 12:05:10 264

原创 精通RabbitMQ之初识RabbitMQ

精通RabbitMQ之初识RabbitMQRabbitMQAMQP模型AMQP协议层角色相关的概念消息中间件相关的概念RabbitMQ我们知道AMQP(高级消息队列协议) 是一个用于在分布式系统中存储转发消息进行通信网络协议。而RabbitMQ是实现AMQP协议的消息中间件的一种(主要用于应用程序的异步通信和解偶,消息的发送者无需关心消息使用者,反之亦然。),RabbitMQ的服务器端用Erl...

2018-12-23 11:10:20 412

原创 精通RabbitMQ之AMQP杂谈

精通RabbitMQ之AMQP杂谈何为AMQPAMQP能够做什么应用解耦(异步)异步处理同步调用顺序调度通知分发高并发缓冲并发限流延时任务调度失败重试何为AMQPAMQP,即Advanced Message Queuing Protocol(高级消息队列协议),它的定义使得符合要求的客户端应用(application)和消息中间件代理(messaging middleware broker)之...

2018-12-23 10:44:06 319

原创 C语言回炉之预处理器

C语言回炉之预处理器C 预处理器includedefine用#define实现求最大值和最小值的宏宏参数的连接用宏得到一个字的高位或低位的字节用宏定义得到一个数组所含元素的个数ifdef 和 ifndefiferrorextern "C"ifndef A_H define A_H endifC 预处理器C 预处理器不是编译器的组成部分,但是它是编译过程中一个单独的步骤。简言之,C 预处理器只...

2018-12-19 14:46:24 382

原创 C语言回炉之字符串和格式化输入输出

C语言回炉之字符串和格式化输入输出char[] 和 null字符串 和 字符defineconst明示常量printf转换说明符printf转换修饰符printf转换标记scanf的转换说明符scanf的转换修饰符printf 和scanf的*修饰符printf() 的*修饰符scanf()里边的*修饰符char[] 和 nullC语言没有专门用于存储字符串的变量类型,字符串都被存储在char...

2018-12-18 18:02:39 283

原创 C语言回炉之 基本数据类型

C语言回炉之 基本数据类型数据类型关键字修饰整数类型printf数据类型占位符_Bool类型可移植类型stdint.h 和 inttypes.h浮点数floatdoublelong double复数和虚数类型案例demo数据类型关键字数据类型关键字标准说明charK&R字符型(c语言中是最小的整形处理)shortK&R短整形intK&...

2018-12-18 15:31:44 318

原创 大数据预测CSDN2018博客之星评选结果

大数据预测CSDN2018博客之星评选结果闲话不多说,我们直接用数据说话。(因为绝大多数同学都只是关心一下结果,后面再给大家演示数据是怎么得到的)按照CSDN的要求:自荐方式如下:在评论中放上您的CSDN博客地址、并进行简要说明。候选人自荐截止时间为2018年12月11日。则目前为止自荐参与人数733。(是不是很意外,这么火的CSDN报名参加人数居然这么少)那么这733人当中的,原...

2018-12-11 12:27:12 11309 33

原创 ElasticSearch学习笔记之三十三 IK分词器扩展字典及text全文类型数据分词聚合查询

ElasticSearch学习笔记之三十三 IK分词器扩展字典及text全文类型数据分词聚合查询专属词汇分词失败扩展字典查看当前词库自定义词典更新配置再次查看分词text全文类型数据分词聚合新建索引插入数据聚合查询专属词汇分词失败前面我们已经知道了IK分词器已经可以很好的为中文的text全文类型数据分词,但是有一些特定行业的特定专属词汇,IK分词器却不能按照我们的设想来分词,例如 人名/书名/...

2018-12-07 14:02:19 1274

原创 Scrapy Selenium实战:Selenium登录知乎保存cookies后访问需要登录页面

Scrapy Selenium实战:Selenium登录知乎保存cookies后访问需要登录页面安装chromedriver新建爬虫zhihu.py获取浏览器真实的User-Agent执行验证selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)...

2018-12-07 11:13:39 3545

原创 Scrapy爬虫实战:使用代理访问

Scapy爬虫实战:使用代理访问Middleware 中间件设置代理middlewares.pysettings.pyspider配置meta使用proxy快代理前面我们简单的设置了headers就可以骗过ip138.com,但是绝大多数比较复杂的网站就不是那么好骗的了,这个时候我们需要更高级的方案,富人靠科技,穷人靠变异,如果不差钱的话,可以考虑VPN,也可以使用免费的代理。我们这里试着使用代...

2018-12-06 14:32:18 3083

原创 scrapy爬虫实战:伪装headers构造假IP骗过ip138.com

scrapy爬虫实战:伪装headers构造假IP骗过ip138.comscrapy 伪造useragent我们在爬虫的过程中,经常遇到IP被封的情况,那么有没有伪装IP的方案呢,对于一些简单的网站我们只要伪造一下headers就可以了。我们一般来说想知道自己的IP,只需要访问一下 http://www.ip138.com/ 就可以知道自己的IP了使用浏览器检查工具,具体查看一下就可以...

2018-12-06 13:14:36 3889 1

原创 scrapy实战:伪造headers的多种实现

scrapy实战:伪造headers的多种实现新建爬虫ip138.py默认headers默认User-Agentsettins.py默认HEADERSsettins.pycustom_settingsheaders=headersMiddleware中间件设置middlewares.pysettings.py简单动态 User-Agentsettings.pymiddlewares.pyfake-...

2018-12-06 13:03:52 7550 1

原创 scrapy实战:scrapy-splash抓取动态数据

scrapy实战:scrapy-splash抓取动态数据docker安装拉取scrapinghub/splash镜像启动Splash安装 scrapy-splash新建taobao spider项目settings.py运行测试我们知道,为了加速页面的加载速度,页面的很多部分都是用JS生成的,而对于用scrapy爬虫来说就是一个很大的问题,因为scrapy没有JS engine,所以爬取的都是静...

2018-12-05 18:20:57 1186 1

原创 Scrapy爬虫实战:百度搜索找到自己

Scrapy爬虫实战:百度搜索找到自己背景分析怎么才算找到了自己怎么才能拿到百度搜索标题怎么爬取更多页面baidu_search.py声明BaiDuSearchItemItemsitems.pyItem Pipelinepipelines.py配置Pipelinesettings.py运行测试这里我们演示从百度找到我自己来让大家理解了解爬虫的魅力。背景有啥不懂的问度娘,百度搜索引擎可以搜到我...

2018-12-05 17:51:53 2421

原创 Scrapy爬虫:XPath语法

Scrapy爬虫:XPath语法路径表达式路径案例谓语(Predicates)谓语实例选取未知节点实例选取若干路径实例Xpath轴功能函数注意事项:提取内容XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。路径表达式表达式描述nodename选取此节点的所有子节点。/从根节点选取。...

2018-12-05 15:07:51 2383

原创 初窥Scrapy

初窥Scrapy搭建Scrapy环境新建虚拟环境升级pippip安装Scrapy创建项目新建Scrapy项目tutorialtutorial项目结构genspider命令新建爬虫genspider语法新建百度爬虫baidu_search.pycrawl开始爬虫Forbidden by robots.txtrobots协议ROBOTSTXT_OBEY爬取百度首页附录Scrapy是一个为了爬取网站数...

2018-12-05 13:28:02 473

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除