Keal's Blog

我的天空, 是雨是风

A brief discussion of message queues

MQ(消息队列)算是项目经常会用到的一个中间件了,之类对MQ做个大致认识 MQ的作用 解耦 同步改异步 把原来必须当场做完的事,变成一条通知。 广播 关心的人都能收到 一条消息发给所有订阅它的服务。 错峰 限制并发 用队列卡住一段时间里的最大并发量。 MQ工作流程 先看MQ的基本工作流程,简化为生产者, MQ, 消费者的关系 producer->MQ->...

Inverted index

倒排索引常用于搜索引擎,文档搜索. ElasticSearch就使用了倒排索引来检索数据. 正向 文章 → 文字 一篇篇翻过去找关键字,正确但慢。 倒排 文字 → 文章 按词存它出现过的文章,搜索时直接查字典。 正向索引 要理解倒排索引,可以先看看正向索引是怎样的. 举个例子,文章里包含了许多的文字,你想找某个文字出现在哪些文章里. 那么按照遍历每个文章,查看文章中是否出...

select, poll, epoll以及Linux下的IO模式

之前一直以为自己已经充分理解了select, poll, epoll,直到看到这样一个问题: 为什么 IO 多路复用要搭配非阻塞 IO? 自己琢磨的有点似是而非,所以重新好好复习下. 先从Linux下的IO模式说起吧. Linux IO模式 Unix网络编程这本书中有讲到5种IO模式: 阻塞 I/O(blocking IO) 非阻塞 I/O(nonblocking...

str,bytes,unicode in Python

python2到3里的编码问题算是常见问题了,发现很多文章有些讲的对但是缺少细节不容易明白,有些文章甚至讲的都不完全是对的.所以这篇文章如果能做到既对了,又能够细节充分让人一看就懂,还是很有意义的. bytes和unicode python里的bytes类型可以理解为最底层的’00001111’这样的数据流,当进行网络传输或者文件传输时,都是通过bytes类型传输. 应用读取bytes...

记一次python和数据库死锁问题的排查

背景故事 最近排查一个初步觉得是死锁的问题,之前在生产环境也是偶尔出现,排查过程中解决了此问题引起的另外的几个问题,可是死锁这个问题一直没有成功在本地环境复现, 并且代码中也未能找到可能产生死锁的点. 直到最近国外10几个生产环境也出现了这个类似的问题,因此这个问题突然重视起来.我也能专心排查这个问题. 业务场景 影院播放一个电影除了需要片源外,还需要一个叫kdm的文件, 此文件相当于...

Sqlalchemy add, flush and commit

Add 官方文档解释: Place an object in the Session. Its state will be persisted to the database on the next flush operation. Repeated calls to add() will be ignored. The opposite of add() is exp...

浅谈架构

为什么需要架构 网上有许多资料, 也有很多书籍提到这个. 个人总结大概是这样: 类似建筑的蓝图, 提供一个抽象的结构来检查是否能满足现在和未来的需求. 对开发来讲, 使模块清晰, 更方便的解决复杂的需求 对企业来讲, 更好的做风险管理和降低成本 常见架构 Software Architecture Patters 主要提到5种: 分层架构: 最常见,容易测试,...

进程,线程在Linux和Python

前言 进程和线程其实都是操作系统负责调度执行的, 操作系统是以进程为单位去分配空间和执行的 进程 资源分配单位 操作系统以进程为单位分配空间并执行。 线程 进程里的执行流 共享同一块虚拟内存,各自有线程 id。 Linux中的进程和线程 Linux并未像Windows那样提供CreateProcess和CreateThreadAPI来明确区分线程和进程的创建, 而是将线程...

Python多进程下信号处理的问题

"python多进程"

问题 我们开发的系统中, 客户反应说有时候FTP传片失败. 重点: 有时候 FTP传输失败 排查 ​ 通过日志和代码排查, 发现是在本地做内容复制的时候, 会触发一个SIGTERM信号, 主进程中注册的信号处理函数针对这个信号会做出退出程序的处理, 导致FTP服务挂掉, 传片自然也失败. (这里奇怪的点是, 处理函数有关闭web服务, 但是执行时失败了) 服务概况 ...

Go struct exported and unexported

"Go, struct"

基本原则 struct名称小写开头, 则此struct不会被导出,即不会被外部包使用 struct名称大写开头,则struct会被导出,但是内部只有是大写字母开头的字段名称被导出, 即小写字母开头的内部字段不会被导出 例外情况: struct的嵌套 1 2 3 4 5 6 7 8 9 // Horse能被导出, 虽然animal字段是小写,但是依然能够访问到其中的Speak...