-
关系型数据库扩展是一个永恒的话题, 尤其是partitioning和一致性方面的问题. 以下结合网上大神资料,做一个大致的总结.
索引想要快速查询, 必须建立合适的索引. 检查经常查询的sql语句, 分析sql是否使用了正确的索引十分重要. 如mys...
-
前言最近尝试用MongoDB替换Mysql， 由于Mysql的写能力限制， 32C128G的实例同时写入1M的数据CPU飙升， 更不用说如果是并发的情况。MongoDB通过sharding能够很好地解决写能力扩展的问题, 故作一篇网上大神博客的小结....
-
前言Pandas有一些常用方法, 可以作为回调函数用于其它函数.
pandas.DataFrame.reindexreindex方法用于把DataFrame按新的索引转化, 同时可选填充空值或者其他方法(如ffill, 按前项填充). 默认情况下, ...
-
前言基本上, Pandas的Series沿袭了Numpy的设计, 是一维数组和数组的索引, 和Numpy不同的一点是这个一维数组可以是异构的,比如数字int和字符串混在一起, 这个时候数组的类型是object. 而DataFrame是为了处理表格和异...
-
前言一般需要对数据做分割/处理/合并的时候会使用groupby, groupby的意思类似sql语句的分组. 对一个DataFrame做分割、处理、合并的过程一般如下图所示， 通过这样的流程能做到聚合数据的能力。
分割官方叫spl...
-
基础模块想要构建一个基本的Luigi工作流, 需要创建Task和Target类, 还有Parameter类.使用这些类来定义任务的好处是在代码里定义依赖, 而不是使用DSL.
TargetTarget是Task output返回的结果. Target...
-
前言最近在使用new relic监控发现有个sql update花了30s, 于是开启了数据库优化的路径…
优化原则数据库性能优化有两个层面: 数据库本身层面和硬件层面. 两个层面的优化原则各不相同
数据库本身优化原则:
表结构是否合理? 更新...
-
前言阿里云批量计算支持SGE集群, 版本是GE6.2, 只支持centos. 使用aliyun镜像市场已经打包好的镜像可以方便的起一个集群, 然后使用batchcompute_sgesdk管理和定制自己想要的sge集群特性, 比如动态扩展执行节点.
...
-
本文主要介绍aws网络产品, 并对比阿里云的产品阿里云高速通道支持不同区域vpc直连，这个比aws的vpc peering好， vpc peering只能用于同一区域，且是不同ip段连接。aws每个区域的默认 VPC 数量是5个, 每个vpc默认子网...
-
实验性迁移小结
迁移目标本文主要记录了将本地rails迁移到云上容器服务的过程, 包括如何部分重构本地应用代码和一些思考. 迁移本地应用的目的主要是为了能够将应用变得高可用和更好的扩展性, 以及为了更好的容器管理.
原来的系统状况本地的rails...