-
前言本文主要简介一下企业架构师EA, 技术架构师TA, 解决方案架构师SA的区别, 同时探讨各自需要具备的能力和挑战.
企业架构师 vs 技术架构师 vs 解决方案架构师简单来说, 企业架构师从企业全局的角度出发发现和定义问题, 解决方案架构师把问题...
-
前言Apache Arrow是一个用于内存分析的跨语言开发平台。它定义了一种标准的、语言无关的列式内存数据格式。这种格式支持平整的和嵌套的数据结构。它还提供了一些计算库，零拷贝流式消息和内部进程通信。Arrow的主要用处可以是大数据的快速移动和处理。...
-
前言本文主要讨论如何把pandas移植到spark, 他们的dataframe共有一些特性如操作方法和模式。pandas的灵活性比spark强， 但是经过一些改动spark基本上能完成相同的工作。同时又兼具了扩展性的优势，当然他们的语法和用法稍稍有些...
-
Apache Arrow in PySparkSpark可以使用Apache Arrow对python和jvm之间的数据进行传输， 这样会比默认传输方式更加高效。为了能高效地利用特性和保障兼容性，使用的时候可能需要一点点修改或者配置。
为什么使用Ar...
-
RDD to DatasetsSpark SQL支持两种方式把RDD转为Datasets. 第一种是使用反射reflection取得到RDD的schema, 这种方式需要预先知道数据的结构。如果是scala的接口，RDD包含case class(定义...
-
Forword本文主要想翻译一下经典论文Pawlak Z.Roughset， 以期全面地了解这一技术，为后续应用打下基础。
Introduction本论文目的是描述粗糙集的一些属性，
REFERENCES
E. Konrad, E. Ortowska...
-
mysql索引的作用和意义当我们使用sql语句查询时往往要加where, 使用索引我们可以快速查找到满足where条件的行.
mysql如何使用索引mysql大部分索引使用B-tree, 例如(PRIMARY KEY, UNIQUE, INDEX,...
-
什么是D3.selections?D3的selection概念其实很简单, 就是一组元素节点. 具体代码表达就是d3.selectAll('div'), 所有选中的div就是selection,有的翻译叫它选择集, 然后基于这个sel...
-
React无状态组件React的Component分为有状态的class component和无状态的function component, class component的好处是可以完全控制组件的生命周期, 坏处是写起来麻烦. function c...
-
Apollo client2.0的缓存实现Apollo client2.0使用apollo-client-inmemory作为客户端数据的缓存实现, 主要使用包中的InMemoryCache作为data store来缓存数据. InMemoryCac...