创建一个@Configuration类
在项目具体使用中，只需要
就可以使用，真是太方便了。
创建一个@Configuration类
在项目具体使用中，只需要
就可以使用，真是太方便了。
]]>案例因为保密原因，可联系作者二维码获取
任务具备延时、自动重试、优先级以及过期等功能
通过 HTTP restful API 提供服务
具备横向扩展能力
丰富的业务和性能指标
Github 项目地址: https://github.com/meitu/lmstfy
任务队列跟消息队列在使用场景上最大的区别是： 任务之间是没有顺序约束而消息要求顺序(FIFO)，且可能会对任务的状态更新而消息一般只会消费不会更新。 类似 Kafka 利用消息 FIFO 和不需要更新(不需要对消息做索引)的特性来设计消息存储，将消息读写变成磁盘的顺序读写来实现比较好的性能。而任务队列需要能够任务状态进行更新则需要对每个消息进行索引，如果把两者放到一起实现则很难实现在功能和性能上兼得。在美图内部选型上，如果是异步消息模型一般会选择消息队列，比如类似日志上报，抢购等。而对于需要延时/定时下发或者修改状态任务则是使用任务队列。
比如在以下几种场景会使用任务队列:
在自研任务队列之前，我们基于以下几个要求作为约束调研了现有一些开源方案:
任务支持延时/优先级任务和自动重试
高可用，服务不能有单点以及保证数据不丢失
可扩展，主要是容量和性能需要可扩展
第一种方案是 Redis 作者开源的分布式内存队列 disque(https://github.com/antirez/disque)。disque 采用和 Redis Cluster 类似无中心设计，所有节点都可以写入并复制到其他节点。不管是从功能上、设计还是可靠性都是比较好的选择。我们在 2017 年也引入 disque 在部分业务使用过一段时间，后面遇到 bug 在内部修复后想反馈到社区，发现 Redis 作者决定不再维护这个项目(要把 disque 功能作为 redis module 来维护，应该是会伴随 Redis 6 发布)。最终我们也放弃了 disque 方案，将数据迁移到我们自研任务队列服务。
第二种方案是 2007 年就开源的 beanstalkd(https://github.com/beanstalkd/beanstalkd)，现在仍然还是在维护状态。beanstalkd 是类 memcached 协议全内存任务队列，断电或者重启时通过 WAL 文件来恢复数据。但 benstalkd 不支持复制功能，服务存在单点问题且数据可靠性也无法满足。当时也有考虑基于 beanstalkd 去做二次开发，但看完代码之后觉得需要改造的点不只是复制，还有类似内存控制等等，所以没有选择 beanstalkd 二次开发的方案。
也考虑过类似基于 kafka/rocketmq 等消息队列作为存储的方案，最后从存储设计模型和团队技术栈等原因决定选择基于 redis 作为存储来实现任务队列的功能。举个例子，假设以 Kafka 这种消息队列存储来实现延时功能，每个队列的时间都需要创建一个单独的 topic(如: Q1-1s, Q1-2s..)。这种设计在延时时间比较固定的场景下问题不太大，但如果是延时时间变化比较大会导致 topic 数目过多，会把磁盘从顺序读写会变成随机读写从导致性能衰减，同时也会带来其他类似重启或者恢复时间过长的问题。
lmstfy 是 HTTP 协议的无状态服务，可以通过 4/L7 的 LB 来接入。内部主要由四个模块组成:
Default Pool 除了用来存储业务数据，namespace/token 这类元数据也会默认存储到 Default 这个 Redis 池子里面
namespace - 用来隔离业务，每个业务是独立的 namespace
queue - 队列名称，用区分同一业务不同消息类型
job - 业务定义的业务，主要包含以下几个属性:
id: 任务 ID，全局唯一
delay: 任务延时下发时间， 单位是秒
tries: 任务最大重试次数，tries = N 表示任务会最多下发 N 次
ttl(time to live): 任务最长有效期，超过之后任务自动消失
ttr(time to run): 任务预期执行时间，超过 ttr 则认为任务消费失败，触发任务自动重试
lmstfy 本身是无状态的服务可以很简单的实现横向扩展，这里的横向扩展主要是存储(目前只支持 Redis)的横向扩展。设计也比较简单，主要通过通过 namespace 对应的 token 路由来实现， 比如我们当前配置两组 Redis 资源: default 和 meipai:
[Pool][Pool.default]Addr = "1.1.1.1:6379"[Pool.meipai]Addr = "2.2.2.2:6389"在创建 namespace 时可以指定资源池，token 里面会携带资源池名字作为前缀。比指定美拍资源池，那么 token 类似: meipai:01DT8EZ1N6XT ，后续在处理请求时就可以根据 token 里面携带的资源池名称来进行路由数据。不过这种设计实现队列级别的扩展，如果单队列存储消息量超过 Redis 内存上限则需要其他手段来解决(后面会支持磁盘类型存储)。
# 创建 namespace 和 token, 注意这里使用管理端口$ ./scripts/token-cli -c -n test_ns -p default -D "test ns apply by @hulk" 127.0.0.1:7778 { "token": "01DT9323JACNBQ9JESV80G0000"} # 写入内容为 value 的任务$ curl -XPUT -d "value" -i "http://127.0.0.1:7777/api/test_ns/q1?tries=3&delay=1&token=01DT931XGSPKNB7E2XFKPY3ZPB" {"job_id":"01DT9323JACNBQ9JESV80G0000","msg":"published"} # 消费任务$ curl -i "http://127.0.0.1:7777/api/test_ns/q1?ttr=30&timeout=3&&token=01DT931XGSPKNB7E2XFKPY3ZPB" {"data":"value","elapsed_ms":272612,"job_id":"01DT9323JACNBQ9JESV80G0000","msg":"new job","namespace":"test_ns","queue":"q1","ttl":86127} # ACK 任务 id，表示消费成功不再重新下发改任务curl -i -XDELETE "http://127.0.0.1:7777/api/test_ns/q1/job/01DT9323JACNBQ9JESV80G0000?token=01DT931XGSPKNB7E2XFKPY3ZPB"更详细 API 说明见项目 README，目前我们提供了 PHP/Golang 两种语言 SDK，其他语言可以直接基于 HTTP 库封装即可。
lmstfy 任务队列的另外一个设计目标是提供足够多的监控指标，除了作为监控报警之外，也可以为类似 k8s 的 scheduler 提供反馈指标，以当前队列堆积情况指导系统进行动态缩扩容。
业务指标:
性能相关指标:
在我们当前的使用场景下, 一个 2G 的 redis 实例就能够支撑千万级左右的延迟任务量。但类似对象存储的生命周期管理(对象存储的 TTL)这种量大且延时间长的场景，使用 Redis 存储成本比较高。后续会考虑基于本地文件或者以 kvrocks (自研的 SSD Redis KV) 作为存储，将数据落到磁盘。kvrocks 目前也是开源状态，美图内部线上已经部署接近 100 个实例，外部也有一些类似白山云等公司在使用，后面也会输出相关设计和实现文章。欢迎大家去关注和使用，更加欢迎 issue 和 PR。
kvrocks Github 项目地址: https://github.com/meitu/kvrocks
lmsty 的 Github 项目地址: https://github.com/meitu/lmstfy
]]>
客户端向主服务器写入了数据 但是主服务器还没有来得及同步的情况下 主服务器死了 那么这个时候就会选举新的主服务器 原来的主服务器在一段时间之后 又好了 那么这个时候 原来的主服务器 只能作为从服务器了 原来主服务器的数据 没有办法进行同步 这种问题 就是redis的脑裂问题
min-slaves-to-write 1 这个表示的意思是：在我们客户端写入数据的时候 至少保证 主服务器上有一个从服务器 处于正常连接才能写入这个数据
min-slaves-max-lag 10 ：这个表示的的意思是 主从同步的时间 10s
表示的的意思是 主从同步的时间 10s
当这两个条件同时存在了就可以解决redis脑裂问题
————————————————
版权声明：本文为CSDN博主「姜姜是美女」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_53560205/article/details/121312721
]]>
华锐这片热土，是安多藏区中一颗璀璨的高原明珠。
天祝三峡国家级森林公园，山高峡深，林海苍茫
历史悠久的藏传佛教寺院—天堂寺，宏伟庄严，文化灿烂。
马牙雪山气势雄伟，直插云霄。
抓喜秀龙，松山草原，辽阔无垠，牛羊如云。
雍容华贵的华锐藏族服饰
神奇的白牦牛，在诉说着古老的传说。
这里，雪山巍峨，草原辽阔。
这里，经幡猎猎，桑烟缭绕。
这里是歌舞的海洋，这里是人间的天堂。
神奇的天祝欢迎您，
美丽的华锐扎西秀！
+-----------------------------------------------------------------------+
| wine qq 2013 for linux Ubuntu 64位兼容
+-----------------------------------------------------------------------+
| 作者：LongeneTeam
| 网名：smile,timeboy,wolfstar
| QQ群：【Longene爱好者群】252714468
| 新浪微博：http://www.weibo.com/longene
| Email：zhangcheng@insigma.com.cn
+-----------------------------------------------------------------------+
| 文章版权归原作者所有。
| 大家可以自由转载这篇文章，但原版权信息必须保留。
| 未经许可不得用于商业用途，任何个人、媒体、其他
| 网站不得私自抄袭。 如需用于商业用途，请务必与原
| 作者联系，若因未取得授权而收起的版权争议，由侵
| 权者自行负责。
+-----------------------------------------------------------------------+
本文链接：http://www.longene.org/forum/viewtopic.php?f=6&t=4700
目录：
1. wine-qq最新下载
2. 安装说明
3. 常见问题
4. 更新日志
5. 历史版本下载
6. 运行截图
+-----------------------------------------------------------------------+
WineQQ2013
+-----------------------------------------------------------------------+
Longene TM2013 Preview2
百度网盘：WineTM2013-20131206-Longene
MD5:90be8e3e3aad2e3a518d2b13b05cf016
Longene QQ2013SP4
本地下载：http://www.longene.org/download/WineQQ2013-20131120-Longene.deb
百度网盘：http://pan.baidu.com/s/1vNoAY
MD5:278ca362ff9d87d6763280153f255f05
2013-12-04更新说明：
1.该版本不是很稳定，可能比较容易崩溃，主要是因为QQ2013加入了QQProtect保护，和wine的兼容性不是很好。
2.wine版本：官方wine-1.7.6
3.QQ版本：官方QQ2013SP4
已知问题：
1.无法使用键盘输入密码，只可以使用软键盘。
2.ibus可能存在兼容问题，如果崩溃很频繁，换fcitx试试。
pidgin-lwqq是基于lwqq开发的pidgin插件。lwqq又是基于webqq协议开发，本人比较赞同作者的思路。
对pidgin下支持：
支持发送接受文本消息
支持发送接受图片
支持群聊天
支持发送接受表情(在设置中使用webqq表情主题)
支持头像
支持设置好友备注
支持更改好友分组
支持确认添加好友请求
支持群的临时会话
支持访问QQ空间
支持更改在线状态
支持多账户登录
支持发送接受离线文件
支持文本样式
支持群消息屏蔽
支持接受文件传输
sudo add-apt-repository ppa:lainme/pidgin-lwqq
sudo apt-get update
sudo apt-get install pidgin pidgin-lwqq
然后启动pidgin加入帐号。选webqq
Traceback (most recent call last):
File test.py, line 28, in
fp.write(%d:%s%(sClassid,sClassName))
UnicodeEncodeError: 'ascii' codec can't encode character u'uff08' in position 12: ordinal not in range(128
#! /usr/bin/python
# -*- coding: utf-8 -*-
import sys
print sys.getdefaultencoding();
运行上面的程序提示
ascii
原来如此，在程序的头部加上
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
再次运行，错误消息。
总结一下，python2.7是基于ascii去处理字符流，当字符流不属于ascii范围内，就会抛出异常（ordinal not in range(128)）。
var page=1; //页面AJAX调用的开关 var isLoading=false //总页数 var pagecount=parseInt(0${cl.pages},10) $(window).scroll(function() { var o = $('#CtxContent'); if(o!=null ){ var hght= document.body.scrollHeight; var clt =document.documentElement.clientHeight; //var top= document.documentElement.scrollTop ; var top= document.documentElement.scrollTop == 0 ? document.body.scrollTop : document.documentElement.scrollTop; ; //alert(top=+top+ high=+hght) if(top>=(parseInt(hght)-clt) && page<=pagecount &&=""></=pagecount> page=parseInt(page)+1; ReadPage(page); } } }); function ReadPage(page){ $(#news-bottom-list).html('正在获取信息...').show(); isLoading=true; next=parseInt(page)+1; html=$.get('?id=${id}&page='+page+'&lang='+currLang, function (data){ isLoading=false; $(#CtxContent).append(data); $(#news-bottom-list).html(查看更多资讯↓); },'html'); } 
”。 class=error error error error error error error error >]]>
如这样子，经跟踪发现，当POST的其它表单项多时，就会出现错误。尤其有些表单需要文件上传还有其它的参数同时提交时最为严重，
检查过NGINX的POST缓存等没有问题，一至困扰很久。。
今天在uwsgi的官网翻看文档，无意中发现了post-buffering的设置。加入到uwsgi的启动参数后，问题得以解决，我的uwsgi启动参数如下：
-s 127.0.0.1:9002 -L -C -M -p 6 -t 50 --limit-as 1000 -R 10240 --vhost -d /var/log/uwsgi.log --pidfile /var/run/$NAME.pid —pythonpath /home —enable-threads --post-buffering=1024
实现步骤：
1 首先为记录添加sdate字估， 并用created的格林威治时间更新
update pi_mobile set sdate=from_unixtime(created,%Y-%m-%d)
2、将sdate设置为主键。
3、为sdate创建一个索引，提高分区速度。
4、分区。
分区注意事项。ALTER TABLE `pi_mobile_imei` PARTITION BY RANGE(year(sdate)) PARTITIONS
(
PARTITION part0 VALUES LESS THAN (1971),
PARTITION part1 VALUES LESS THAN (2011),
PARTITION part2 VALUES LESS THAN (2012),
PARTITION part3 VALUES LESS THAN (2013),
PARTITION part4 VALUES LESS THAN (2014),
PARTITION part5 VALUES LESS THAN (2015),
PARTITION part6 VALUES LESS THAN MAXVALUE
);
1、字段必须包含在主键中;
2、记录是小于设定好的分表中。
当使用设置字段进行搜索时。可以使用到索引，如其它字段。将遍历所有分区。
通过日期查时。可直接定位于分区上
1、执行优化:]]>
echo 'ulimit -c unlimited' >> /etc/profile
echo 'ulimit -s unlimited' >> /etc/profile
echo 'ulimit -SHn 65535' >> /etc/profile
echo '* hard core 0'>>/etc/security/limits.conf
echo '* hard rss 10000'>>/etc/security/limits.conf
echo '* hard nproc 20'>>/etc/security/limits.conf
2、
vi /etc/sysctl.conf
插入以下：
net.ipv4.tcp_max_syn_backlog = 65536
net.core.netdev_max_backlog = 32768
net.core.somaxconn = 32768
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 120
net.ipv4.ip_local_port_range = 1024 65535
执行立即生效：/sbin/sysctl -p
3、
vi /usr/include/bits/typesizes.h
查找SETSIZE 找到
#define __FD_SETSIZE 1024 改为 65535
4、修改SSH端口
vi /etc/ssh/sshd_config
Port 22改新端口
PermitEmptyPasswords no
MaxAuthTries 3
重启SSH：/etc/init.d/ssh restart
5、禁止IP伪装
echo 'nospoof on'>>/etc/host.conf