在了解过世界最大的PHP站点Facebook的后台技术后今天我们来了解一个百万级PHP站点的网站架构PoppendePoppende是德国的一个社交网站相对FacebookFlickr来说是一个很小的网站但它有一个很好的架构融合了很多技术如 NigixMySqlCouchDBErlangMemcachedRabbitMQPHPGraphiteRed以及Tsung
Poppende目前有万注册用户数万并发用户数每天万条私有消息每天万登录次数而项目团队有个开发人员两个设计两个系统管理员该站点的商业模式采用免费增值模式用户可以使用搜索用户给好友发送消息上载图片和视频等功能
如果用户想享受不受限制发送消息和上载图片那么就得根据需要支付不同类型的会员服务视频聊天及网站其他服务也采用同样的策略
Nginx
Poppende 所有的服务都是基于Nginx服务上的前端有两台Nginx服务器在高峰期提供每分钟万次请求的负载每个机器已经有四年寿命并且只有一个CPU 和GB RAMPoppende拥有三台独立的图像服务器由三台Nginx服务器为*bilderpoppende提供每分钟万次请求服务
Nginx 架构中一个很酷的设计就是有很多请求是由Memcached处理的因此请求从缓存中获取内容而不需要直接访问PHP机器比如用户信息页(user profile)是网站需要密集处理的内容如果把用户信息页全部缓存到Memcached上那么请求直接从Memcached上获取内容 Poppende的Memcached每分钟可以处理次请求
架构中有三个Nginx图像服务器提供本地图像缓存用户上载图 像到一个中央文件服务器当向这三个Nginx之一中请求图像时如果服务器本地中没有存在该图像则从中央文件服务器下载到该服务器上作缓存并提供服 务这种负载均衡的分布式图像服务器架构设计可以减轻主要存储设备的负载
PHPFPM
该网站运行在PHP FPM上共有台双CPUGB内存的PHP机器每个机器上运行个PHPFPM的工作线程使用启用了APC的PHPx PHP可以降低CPU和内存使用率的%以上
程序代码是基于Symfony框架之上开发的一是可以使用外部资源二是 能够提高项目开发进度同时在一个着名的框架上可以让新开发人员更容易加入到团队中来虽然没有任何事情都是十全十美的但可以从Symfony框架中得 到很多好处让团队可以更多的精力放在Poppende的业务开发上去
网站性能优化使用XHProf这是Facebook开源出来的一个类库这个框架非常容易个性化和配置能够可以缓存大部分高代价的服务器计算
MySQL
MySQL是网站主要的RDBMS网站又几个MySql服务器一台CPUGB的服务器存储用户相关信息如基本信息照片描述信息等这台机器已经使用了 年下一步计划会使用共享集群来替换它目前仍基于这个系统上进行设计以简化数据访问代码根据用户ID进行数据分区因为网站中大部分信息都是以用户 为中心的如照片视频消息等
有三台服务器按主从从配置架构提供用户论坛服务一台从服务器负责网站自定义消息存储到现在有 亿条消息另外四台机器为主从配置关系另外由台机器配置成NDB族群专门服务于密集型写操作数据如用户访问统计信息
数据表设计尽量避免关联操作尽可能缓存最多的数据当然数据库的结构化规范已经完全被破坏掉了因此为了更容易搜索数据库设计创建了数据挖掘表大部分表是MyISAM型表可以提供快速查找现在的问题是越来越多的表已经全表锁住了Poppende正考虑往XtraDB存储引擎上迁移
Memcached
网站架构中Memcached应用相当多超过GB的高速缓存和个节点缓存了Session会话视图缓存以及函数执行缓存等架构中有一个系统 当记录被修改时可以自动地把数据更新到缓存中去未来改善缓存更新的可能方案是使用新的Redis Hash API或者MongoDB
RabbitMQ
在 年中开始在架构中使用RabbitMQ这是一个很好的消息解决方案便于部署和集中到这个架构中去在LVS后运行了两台RabbitMQ服务 器在上个月已经把更多的东西集成到该队列中意味着同一时刻有台PHP服务器每天要处理万次请求发送日志邮件通知系统消息图像上载等 更多的东西到这个队列中
应用PHPFPM中的fastcgi_finish_request()函数集成队列消息可以把消息异步发 送到队列中当系统需要给用户发送HTML或JSON格式响应时就调用这个函数这样用户就没有必要等到PHP脚本清理
这个系统可以改善架构资源管理例如在高峰期服务每分钟可以处理次登录请求这表示有并发更新用户表保存用户的登录时间由于使用了队列机制可以 按相反的顺序来运行这些查询如果需要提高处理速度只需要增加更多的队列处理者即可甚至可以增加更多的服务器到这集群中去而不需要修改任何配置和部 署新节点
CouchDB
日志存储CouchDB运行在一台机器上在这台机器上可以根据模块/行为进行日志查询 /分组或者根据错误类型等等这对定位问题非常有用在使用日志聚合服务CouchDB之前不得不逐台登录到PHP服务器上设法日志分析定位问题这 是非常麻烦的而现在把所有的日志集中到队列中保存到CouchDB中可以集中进行问题检查和分析
Graphite
网站使用Graphite采集网站实时信息并统计从请求每个模块/行为到Memcached的命中和未命中RabbitMQ状态监控以及Unix负载等等Graphite服务平均每分钟有次更新操作实践已经证实要监测网站发发生什么是非常有用的它的简单文本协议和绘图功能可以方便地即插即 用的方式用于任何需要监控的系统上
一件很酷的事情是使用Graphite同时监控了网站的两个版本一月份部署了Symfony框架新 版本以前代码作为一个备份部署这就意味着网站可能会面临性能问题因此可以使用Graphite来对两个版本在线进行对比
发现新版本上的Unix负载表较高于是使用XHProf对两个版本进行性能分析找出问题所在
Red
网站为用户也提供了两种类型的视频服务一种是用户自己上载的视频另外一种是视频聊天用户视频互动和分享到年年中每月为用户提供TB的流量服务
Tsung
Tsung 是一个Erlang编写的分布式基准分析工具在Poppende网站中主要用于HTTP基准分析MySQL与其他存储系统(XtraDB)的对比分 析用一个系统记录了主要的MySQL服务器的流量再转换成Tsung的基准会话然后对该流量进行回放由Tsung产生数以千计的并发用户访问实验 室的服务器这样就可以在实验环境中与真实场景非常接近
