技术点滴 http://www.ben-wang.com 记录开发中的点点滴滴。。。 Tue, 15 May 2012 03:03:17 +0000 en hourly 1 http://wordpress.org/?v=3.3.2 mysql 下 计算 两点 经纬度 之间的距离 http://www.ben-wang.com/mysql-gps-distance.htm http://www.ben-wang.com/mysql-gps-distance.htm#comments Tue, 15 May 2012 02:58:15 +0000 admin http://www.ben-wang.com/?p=51 公式如下，单位米：

第一点经纬度：lng1 lat1

第二点经纬度：lng2 lat2

round(6378.138*2*asin(sqrt(pow(sin( (lat1*pi()/180-lat2*pi()/180)/2),2)+cos(lat1*pi()/180)*cos(lat2*pi()/180)* pow(sin( (lng1*pi()/180-lng2*pi()/180)/2),2)))*1000)

 

————————————————————————————————–

 

根据两点经纬度计算距离

这些经纬线是怎样定出来的呢？地球是在不停地绕地轴旋转（地轴是一根通过地球南北两极和地球中心的 假想线），在地球中腰画一个与地轴垂直的大圆圈，使圈上的每一点都和南北两极的距离相等，这个圆圈 就叫作“赤道”。在赤道的南北两边，画出许多和赤道平行的圆圈，就是“纬圈”；构成这些圆圈的线段， 叫做纬线。我们把赤道定为纬度零度，向南向北各为90度，在赤道以南的叫南纬，在赤道以北的叫北纬。 北极就是北纬90度，南极就是南纬90度。纬度的高低也标志着气候的冷热，如赤道和低纬度地地区无冬， 两极和高纬度地区无夏，中纬度地区四季分明。  其次，从北极点到南极点，可以画出许多南北方向的与地球赤道垂直的大圆圈，这叫作“经圈”；构成这 些圆圈的线段，就叫经线。公元1884平面坐标图年，国际上规定以通过英国伦敦近郊的格林尼治天文台的 经线作为计算经度的起点，即经度零度零分零秒，也称“本初子午线”。在它东面的为东经，共180度； 在它西面的为西经，共180度。因为地球是圆的，所以东经180度和西经180度的经线是同一条经线。各国 公定180度经线为“国际日期变更线”。为了避免同一地区使用两个不同的日期，国际日期变线在遇陆地时 略有偏离。    每一经度和纬度还可以再细分为60分，每一分再分为60秒以及秒的小数。利用经纬线，我们就可以确定 地球上每一个地方的具体位置，并且把它在地图或地球仪上表示出来。例如问北京的经纬度是多少？我们 很容易从地图上查出来是东经116度24分，北纬39度54分。在大海中航行的船只，只要把所在地的经度测 出来，就可以确定船在海洋中的位置和前进方向。 纬度共有90度。赤道为0度，向两极排列，圈子越小， 度数越大。 横线是纬度，竖线是经度。  当然可以计算，四元二次方程。  经度和纬度都是一种角度。经度是个两面角，是两个经线平面的夹角。因所有经线都是一样长，为了度量 经度选取一个起点面，经1884年国际会议协商，决定以通过英国伦敦近郊、泰晤士河南岸的格林尼治皇家 天文台（旧址）的一台主要子午仪十字丝的那条经线为起始经线，称为本初子午线。本初子午线平面是起 点面，终点面是本地经线平面。某一点的经度，就是该点所在的经线平面与本初子午线平面间的夹角。在 赤道上度量，自本初子午线平面作为起点面，分别往东往西度量，往东量值称为东经度，往西量值称为西 经度。由此可见，一地的经度是该地对于本初子午线的方向和角距离。本初子午线是0°经度，东经度的最 大值为180°，西经度的最大值为180°，东、西经180°经线是同一根经线，因此不分东经或西经，而统称 180°经线。    纬度是个线面角。起点面是赤道平面，线是本地的地面法线。所谓法线，即垂直于参考扁球体表面的线。 某地的纬度就是该地的法线与赤道平面之间的夹角。纬度在本地经线上度量，由赤道向南、北度量，向北 量值称为北纬度，向南量值称为南纬度。由此可见，一地的纬度是该地对于赤道的方向和角距离。赤道是 0°纬线，北纬度的最大值为90°，即北极点；南纬度的最大值为90°，即南极点。

经纬度互换

度(DDD)：E 108.90593度    N 34.21630度

如何将度(DDD):： 108.90593度换算成度分秒(DMS)东经E 108度54分22.2秒?转换方法是将108.90593整数位不变取108(度),用0.90593*60=54.3558,取整数位54(分),0.3558*60=21.348再取整数位21(秒),故转化为108度54分21秒.

同样将度分秒(DMS):东经E 108度54分22.2秒 换算成度(DDD)的方法如下:108度54分22.2秒=108+(54/60)+(22.2/3600)=108.90616度

因为计算时小数位保留的原因，导致正反计算存在一定误差，但误差影响不是很大。1秒的误差就是几米的样子。GPS车友可以用上述方法换算成自己需要的单位坐标。

 

 

经纬度换算成米

纬度分为60分，每一分再分为60秒以及秒的小数。
纬度线投射在图上看似水平的平行线，但实际上是不同半径的圆。有相同特定纬度的所有位置都在同一个纬线上。
赤道的纬度为0°，将行星平分为南半球和北半球。
纬度是指某点与地球球心的连线和地球赤道面所成的线面角，其数值在0至90度之间。位于赤道以北的点的纬度叫北纬，记为N，位于赤道以南的点的纬度称南纬，记为S。 纬度数值在0至30度之间的地区称为低纬地区，纬度数值在30至60度之间的地区称为中纬地区，纬度数值在60至90度之间的地区称为高纬地区。 赤道、南回归线、北回归线、南极圈和北极圈是特殊的纬线。 纬度1秒的长度 地球的子午线总长度大约40008km。平均： 纬度1度 = 大约111km 纬度1分 = 大约1.85km 纬度1秒 = 大约30.9m

根据地球上任意两点的经纬度计算两点间的距离

地球是一个近乎标准的椭球体，它的赤道半径为6378.140千米，极半径为 6356.755千米，平均半径6371.004千米。如果我们假设地球是一个完美的球体，那么它的半径就是地球的平均半径，记为R。如果以0度经线为基 准，那么根据地球表面任意两点的经纬度就可以计算出这两点间的地表距离（这里忽略地球表面地形对计算带来的误差，仅仅是理论上的估算值）。设第一点A的经 纬度为(LonA, LatA)，第二点B的经纬度为(LonB, LatB)，按照0度经线的基准，东经取经度的正值(Longitude)，西经取经度负值(-Longitude)，北纬取90-纬度值(90- Latitude)，南纬取90+纬度值(90+Latitude)，则经过上述处理过后的两点被计为(MLonA, MLatA)和(MLonB, MLatB)。那么根据三角推导，可以得到计算两点距离的如下公式：

C = sin(MLatA)*sin(MLatB)*cos(MLonA-MLonB) + cos(MLatA)*cos(MLatB)

Distance = R*Arccos(C)*Pi/180

这里，R和Distance单位是相同，如果是采用6371.004千米作为半径，那么Distance就是千米为单位，如果要使用其他单位，比如mile，还需要做单位换算，1千米=0.621371192mile

如果仅对经度作正负的处理，而不对纬度作90-Latitude(假设都是北半球，南半球只有澳洲具有应用意义)的处理，那么公式将是：

C = sin(LatA)*sin(LatB) + cos(LatA)*cos(LatB)*cos(MLonA-MLonB)

Distance = R*Arccos(C)*Pi/180

以上通过简单的三角变换就可以推出。

如果三角函数的输入和输出都采用弧度值，那么公式还可以写作：

C = sin(LatA*Pi/180)*sin(LatB*Pi/180) + cos(LatA*Pi/180)*cos(LatB*Pi/180)*cos((MLonA-MLonB)*Pi/180)

Distance = R*Arccos(C)*Pi/180

也就是：

C = sin(LatA/57.2958)*sin(LatB/57.2958) + cos(LatA/57.2958)*cos(LatB/57.2958)*cos((MLonA-MLonB)/57.2958)

Distance = R*Arccos(C) = 6371.004*Arccos(C) kilometer = 0.621371192*6371.004*Arccos(C) mile = 3958.758349716768*Arccos(C) mile

在实际应用当中，一般是通过一个个体的邮政编码来查找该邮政编码对应的地区中心的经纬度，然 后再根据这些经纬度来计算彼此的距离，从而估算出某些群体之间的大致距离范围(比如酒店旅客的分布范围-各个旅客的邮政编码对应的经纬度和酒店的经纬度所 计算的距离范围-等等)，所以，通过邮政编码查询经纬度这样一个数据库是一个很有用的资源。 附：C#代码：

private const double EARTH_RADIUS = 6378.137;//地球半径 private static double rad(double d) { return d * Math.PI / 180.0; }

public static double GetDistance(double lat1, double lng1, double lat2, double lng2) { double radLat1 = rad(lat1); double radLat2 = rad(lat2); double a = radLat1 – radLat2; double b = rad(lng1) – rad(lng2);

double s = 2 * Math.Asin(Math.Sqrt(Math.Pow(Math.Sin(a/2),2) + Math.Cos(radLat1)*Math.Cos(radLat2)*Math.Pow(Math.Sin(b/2),2))); s = s * EARTH_RADIUS; s = Math.Round(s * 10000) / 10000; return s; }

]]> http://www.ben-wang.com/mysql-gps-distance.htm/feed 0 MySQL – 索引与优化 http://www.ben-wang.com/mysql-index.htm http://www.ben-wang.com/mysql-index.htm#comments Sat, 28 Apr 2012 06:05:47 +0000 admin http://www.ben-wang.com/?p=47 写在前面：索引对查询的速度有着至关重要的影响，理解索引也是进行数据库性能调优的起点。考虑如下情况，假设数据库中一个表有10^6条记录，DBMS的页面大小为4K，并存储100条记录。如果没有索引，查询将对整个表进行扫描，最坏的情况下，如果所有数据页都不在内存，需要读取10^4个页面，如果这10^4个页面在磁盘上随机分布，需要进行10^4次I/O，假设磁盘每次I/O时间为10ms(忽略数据传输时间)，则总共需要100s(但实际上要好很多很多)。如果对之建立B-Tree索引，则只需要进行log100(10^6)=3次页面读取，最坏情况下耗时30ms。这就是索引带来的效果，很多时候，当你的应用程序进行SQL查询速度很慢时，应该想想是否可以建索引。进入正题：

第二章、索引与优化

1、选择索引的数据类型

MySQL支持很多数据类型，选择合适的数据类型存储数据对性能有很大的影响。通常来说，可以遵循以下一些指导原则：

(1)越小的数据类型通常更好：越小的数据类型通常在磁盘、内存和CPU缓存中都需要更少的空间，处理起来更快。 (2)简单的数据类型更好：整型数据比起字符，处理开销更小，因为字符串的比较更复杂。在MySQL中，应该用内置的日期和时间数据类型，而不是用字符串来存储时间；以及用整型数据类型存储IP地址。 (3)尽量避免NULL：应该指定列为NOT NULL，除非你想存储NULL。在MySQL中，含有空值的列很难进行查询优化，因为它们使得索引、索引的统计信息以及比较运算更加复杂。你应该用0、一个特殊的值或者一个空串代替空值。
1.1、选择标识符 选择合适的标识符是非常重要的。选择时不仅应该考虑存储类型，而且应该考虑MySQL是怎样进行运算和比较的。一旦选定数据类型，应该保证所有相关的表都使用相同的数据类型。 (1)    整型：通常是作为标识符的最好选择，因为可以更快的处理，而且可以设置为AUTO_INCREMENT。

(2)    字符串：尽量避免使用字符串作为标识符，它们消耗更好的空间，处理起来也较慢。而且，通常来说，字符串都是随机的，所以它们在索引中的位置也是随机的，这会导致页面分裂、随机访问磁盘，聚簇索引分裂（对于使用聚簇索引的存储引擎）。

2、索引入门 对于任何DBMS，索引都是进行优化的最主要的因素。对于少量的数据，没有合适的索引影响不是很大，但是，当随着数据量的增加，性能会急剧下降。 如果对多列进行索引(组合索引)，列的顺序非常重要，MySQL仅能对索引最左边的前缀进行有效的查找。例如： 假设存在组合索引it1c1c2(c1,c2)，查询语句select * from t1 where c1=1 and c2=2能够使用该索引。查询语句select * from t1 where c1=1也能够使用该索引。但是，查询语句select * from t1 where c2=2不能够使用该索引，因为没有组合索引的引导列，即，要想使用c2列进行查找，必需出现c1等于某值。
2.1、索引的类型 索引是在存储引擎中实现的，而不是在服务器层中实现的。所以，每种存储引擎的索引都不一定完全相同，并不是所有的存储引擎都支持所有的索引类型。 2.1.1、B-Tree索引 假设有如下一个表：

CREATE TABLE People (last_name varchar(50)    not null,first_name varchar(50)    not   null,

dob        date           not null,

gender     enum(‘m’, ‘f’) not   null,

key(last_name, first_name, dob)

);

其索引包含表中每一行的last_name、first_name和dob列。其结构大致如下：

索引存储的值按索引列中的顺序排列。可以利用B-Tree索引进行全关键字、关键字范围和关键字前缀查询，当然，如果想使用索引，你必须保证按索引的最左边前缀(leftmost prefix of the index)来进行查询。 (1)匹配全值(Match the full value)：对索引中的所有列都指定具体的值。例如，上图中索引可以帮助你查找出生于1960-01-01的Cuba Allen。 (2)匹配最左前缀(Match a leftmost prefix)：你可以利用索引查找last name为Allen的人，仅仅使用索引中的第1列。 (3)匹配列前缀(Match a column prefix)：例如，你可以利用索引查找last name以J开始的人，这仅仅使用索引中的第1列。 (4)匹配值的范围查询(Match a range of values)：可以利用索引查找last name在Allen和Barrymore之间的人，仅仅使用索引中第1列。 (5)匹配部分精确而其它部分进行范围匹配(Match one part exactly and match a range on another part)：可以利用索引查找last name为Allen，而first name以字母K开始的人。 (6)仅对索引进行查询(Index-only queries)：如果查询的列都位于索引中，则不需要读取元组的值。 由于B-树中的节点都是顺序存储的，所以可以利用索引进行查找(找某些值)，也可以对查询结果进行ORDER BY。当然，使用B-tree索引有以下一些限制： (1) 查询必须从索引的最左边的列开始。关于这点已经提了很多遍了。例如你不能利用索引查找在某一天出生的人。 (2) 不能跳过某一索引列。例如，你不能利用索引查找last name为Smith且出生于某一天的人。 (3) 存储引擎不能使用索引中范围条件右边的列。例如，如果你的查询语句为WHERE last_name=”Smith” AND first_name LIKE ‘J%’ AND dob=’1976-12-23′，则该查询只会使用索引中的前两列，因为LIKE是范围查询。

2.1.2、Hash索引 MySQL中，只有Memory存储引擎显示支持hash索引，是Memory表的默认索引类型，尽管Memory表也可以使用B-Tree索引。Memory存储引擎支持非唯一hash索引，这在数据库领域是罕见的，如果多个值有相同的hash code，索引把它们的行指针用链表保存到同一个hash表项中。 假设创建如下一个表： CREATE TABLE testhash (    fname VARCHAR(50) NOT NULL,    lname VARCHAR(50) NOT NULL,    KEY USING HASH(fname) ) ENGINE=MEMORY; 包含的数据如下：

假设索引使用hash函数f( )，如下：

f(‘Arjen’) = 2323f(‘Baron’) = 7437f(‘Peter’) = 8784

f(‘Vadim’) = 2458

此时，索引的结构大概如下：

Slots是有序的，但是记录不是有序的。当你执行 mysql> SELECT lname FROM testhash WHERE fname=’Peter’; MySQL会计算’Peter’的hash值，然后通过它来查询索引的行指针。因为f(‘Peter’) = 8784，MySQL会在索引中查找8784，得到指向记录3的指针。 因为索引自己仅仅存储很短的值，所以，索引非常紧凑。Hash值不取决于列的数据类型，一个TINYINT列的索引与一个长字符串列的索引一样大。 Hash索引有以下一些限制： (1)由于索引仅包含hash code和记录指针，所以，MySQL不能通过使用索引避免读取记录。但是访问内存中的记录是非常迅速的，不会对性造成太大的影响。 (2)不能使用hash索引排序。 (3)Hash索引不支持键的部分匹配，因为是通过整个索引值来计算hash值的。 (4)Hash索引只支持等值比较，例如使用=，IN( )和<=>。对于WHERE price>100并不能加速查询。 2.1.3、空间(R-Tree)索引 MyISAM支持空间索引，主要用于地理空间数据类型，例如GEOMETRY。 2.1.4、全文(Full-text)索引 全文索引是MyISAM的一个特殊索引类型，主要用于全文检索。

3、高性能的索引策略 3.1、聚簇索引(Clustered Indexes) 聚簇索引保证关键字的值相近的元组存储的物理位置也相同（所以字符串类型不宜建立聚簇索引，特别是随机字符串，会使得系统进行大量的移动操作），且一个表只能有一个聚簇索引。因为由存储引擎实现索引，所以，并不是所有的引擎都支持聚簇索引。目前，只有solidDB和InnoDB支持。 聚簇索引的结构大致如下：

注：叶子页面包含完整的元组，而内节点页面仅包含索引的列(索引的列为整型)。一些DBMS允许用户指定聚簇索引，但是MySQL的存储引擎到目前为止都不支持。InnoDB对主键建立聚簇索引。如果你不指定主键，InnoDB会用一个具有唯一且非空值的索引来代替。如果不存在这样的索引，InnoDB会定义一个隐藏的主键，然后对其建立聚簇索引。一般来说，DBMS都会以聚簇索引的形式来存储实际的数据，它是其它二级索引的基础。

3.1.1、InnoDB和MyISAM的数据布局的比较 为了更加理解聚簇索引和非聚簇索引，或者primary索引和second索引(MyISAM不支持聚簇索引)，来比较一下InnoDB和MyISAM的数据布局，对于如下表：

 

CREATE TABLE layout_test (col1 int NOT NULL,col2 int NOT NULL,

PRIMARY KEY(col1),

KEY(col2)

);

假设主键的值位于1—10,000之间，且按随机顺序插入，然后用OPTIMIZE TABLE进行优化。col2随机赋予1—100之间的值，所以会存在许多重复的值。 (1)    MyISAM的数据布局 其布局十分简单，MyISAM按照插入的顺序在磁盘上存储数据，如下：

注：左边为行号(row number)，从0开始。因为元组的大小固定，所以MyISAM可以很容易的从表的开始位置找到某一字节的位置。 据些建立的primary key的索引结构大致如下：

注：MyISAM不支持聚簇索引，索引中每一个叶子节点仅仅包含行号(row number)，且叶子节点按照col1的顺序存储。 来看看col2的索引结构：

实际上，在MyISAM中，primary key和其它索引没有什么区别。Primary key仅仅只是一个叫做PRIMARY的唯一，非空的索引而已。
(2)    InnoDB的数据布局 InnoDB按聚簇索引的形式存储数据，所以它的数据布局有着很大的不同。它存储表的结构大致如下：

注：聚簇索引中的每个叶子节点包含primary key的值，事务ID和回滚指针(rollback pointer)——用于事务和MVCC，和余下的列(如col2)。
相对于MyISAM，二级索引与聚簇索引有很大的不同。InnoDB的二级索引的叶子包含primary key的值，而不是行指针(row pointers)，这减小了移动数据或者数据页面分裂时维护二级索引的开销，因为InnoDB不需要更新索引的行指针。其结构大致如下：

聚簇索引和非聚簇索引表的对比：

 

3.1.2、按primary key的顺序插入行(InnoDB)

如果你用InnoDB，而且不需要特殊的聚簇索引，一个好的做法就是使用代理主键(surrogate key)——独立于你的应用中的数据。最简单的做法就是使用一个AUTO_INCREMENT的列，这会保证记录按照顺序插入，而且能提高使用primary key进行连接的查询的性能。应该尽量避免随机的聚簇主键，例如，字符串主键就是一个不好的选择，它使得插入操作变得随机。

 

3.2、覆盖索引(Covering Indexes) 如果索引包含满足查询的所有数据，就称为覆盖索引。覆盖索引是一种非常强大的工具，能大大提高查询性能。只需要读取索引而不用读取数据有以下一些优点： (1)索引项通常比记录要小，所以MySQL访问更少的数据； (2)索引都按值的大小顺序存储，相对于随机访问记录，需要更少的I/O； (3)大多数据引擎能更好的缓存索引。比如MyISAM只缓存索引。 (4)覆盖索引对于InnoDB表尤其有用，因为InnoDB使用聚集索引组织数据，如果二级索引中包含查询所需的数据，就不再需要在聚集索引中查找了。 覆盖索引不能是任何索引，只有B-TREE索引存储相应的值。而且不同的存储引擎实现覆盖索引的方式都不同，并不是所有存储引擎都支持覆盖索引(Memory和Falcon就不支持)。 对于索引覆盖查询(index-covered query)，使用EXPLAIN时，可以在Extra一列中看到“Using index”。例如，在sakila的inventory表中，有一个组合索引(store_id,film_id)，对于只需要访问这两列的查询，MySQL就可以使用索引，如下：

mysql> EXPLAIN SELECT store_id,   film_id FROM sakila.inventory\G*************************** 1. row   ***************************id: 1

select_type: SIMPLE

table: inventory

type: index

possible_keys: NULL

key: idx_store_id_film_id

key_len: 3

ref: NULL

rows: 5007

Extra: Using index

1 row in set (0.17 sec)

在大多数引擎中，只有当查询语句所访问的列是索引的一部分时，索引才会覆盖。但是，InnoDB不限于此，InnoDB的二级索引在叶子节点中存储了primary key的值。因此，sakila.actor表使用InnoDB，而且对于是last_name上有索引，所以，索引能覆盖那些访问actor_id的查询，如：

mysql> EXPLAIN SELECT actor_id,   last_name-> FROM sakila.actor WHERE last_name = ‘HOPPER’\G*************************** 1. row   ***************************

id: 1

select_type: SIMPLE

table: actor

type: ref

possible_keys: idx_actor_last_name

key: idx_actor_last_name

key_len: 137

ref: const

rows: 2

Extra: Using where; Using index

 

3.3、利用索引进行排序 MySQL中，有两种方式生成有序结果集：一是使用filesort，二是按索引顺序扫描。利用索引进行排序操作是非常快的，而且可以利用同一索引同时进行查找和排序操作。当索引的顺序与ORDER BY中的列顺序相同且所有的列是同一方向(全部升序或者全部降序)时，可以使用索引来排序。如果查询是连接多个表，仅当ORDER BY中的所有列都是第一个表的列时才会使用索引。其它情况都会使用filesort。

create table actor(actor_id int unsigned NOT NULL AUTO_INCREMENT,name        varchar(16) NOT NULL DEFAULT ”,

password        varchar(16) NOT NULL DEFAULT ”,

PRIMARY KEY(actor_id),

KEY     (name)

) ENGINE=InnoDB

insert into actor(name,password)   values(‘cat01′,’1234567′);

insert into actor(name,password)   values(‘cat02′,’1234567′);

insert into actor(name,password)   values(‘ddddd’,’1234567′);

insert into actor(name,password)   values(‘aaaaa’,’1234567′);

 

 

mysql> explain select actor_id from   actor order by actor_id \G*************************** 1. row ***************************id: 1

select_type: SIMPLE

table: actor

type: index

possible_keys: NULL

key: PRIMARY

key_len: 4

ref: NULL

rows: 4

Extra: Using index

1 row in set (0.00 sec)

 

mysql> explain select actor_id from   actor order by password \G

*************************** 1. row   ***************************

id: 1

select_type: SIMPLE

table: actor

type: ALL

possible_keys: NULL

key: NULL

key_len: NULL

ref: NULL

rows: 4

Extra: Using filesort

1 row in set (0.00 sec)

 

mysql> explain select actor_id from   actor order by name \G

*************************** 1. row   ***************************

id: 1

select_type: SIMPLE

table: actor

type: index

possible_keys: NULL

key: name

key_len: 18

ref: NULL

rows: 4

Extra: Using index

1 row in set (0.00 sec)

当MySQL不能使用索引进行排序时，就会利用自己的排序算法(快速排序算法)在内存(sort buffer)中对数据进行排序，如果内存装载不下，它会将磁盘上的数据进行分块，再对各个数据块进行排序，然后将各个块合并成有序的结果集（实际上就是外排序）。对于filesort，MySQL有两种排序算法。 (1)两遍扫描算法(Two passes) 实现方式是先将须要排序的字段和可以直接定位到相关行数据的指针信息取出，然后在设定的内存（通过参数sort_buffer_size设定）中进行排序，完成排序之后再次通过行指针信息取出所需的Columns。 注：该算法是4.1之前采用的算法，它需要两次访问数据，尤其是第二次读取操作会导致大量的随机I/O操作。另一方面，内存开销较小。 (3)    一次扫描算法(single pass) 该算法一次性将所需的Columns全部取出，在内存中排序后直接将结果输出。 注：从 MySQL 4.1 版本开始使用该算法。它减少了I/O的次数，效率较高，但是内存开销也较大。如果我们将并不需要的Columns也取出来，就会极大地浪费排序过程所需要的内存。在 MySQL 4.1 之后的版本中，可以通过设置 max_length_for_sort_data 参数来控制 MySQL 选择第一种排序算法还是第二种。当取出的所有大字段总大小大于 max_length_for_sort_data 的设置时，MySQL 就会选择使用第一种排序算法，反之，则会选择第二种。为了尽可能地提高排序性能，我们自然更希望使用第二种排序算法，所以在 Query 中仅仅取出需要的 Columns 是非常有必要的。
当对连接操作进行排序时，如果ORDER BY仅仅引用第一个表的列，MySQL对该表进行filesort操作，然后进行连接处理，此时，EXPLAIN输出“Using filesort”；否则，MySQL必须将查询的结果集生成一个临时表，在连接完成之后进行filesort操作，此时，EXPLAIN输出“Using temporary;Using filesort”。

 

3.4、索引与加锁 索引对于InnoDB非常重要，因为它可以让查询锁更少的元组。这点十分重要，因为MySQL 5.0中，InnoDB直到事务提交时才会解锁。有两个方面的原因：首先，即使InnoDB行级锁的开销非常高效，内存开销也较小，但不管怎么样，还是存在开销。其次，对不需要的元组的加锁，会增加锁的开销，降低并发性。 InnoDB仅对需要访问的元组加锁，而索引能够减少InnoDB访问的元组数。但是，只有在存储引擎层过滤掉那些不需要的数据才能达到这种目的。一旦索引不允许InnoDB那样做（即达不到过滤的目的），MySQL服务器只能对InnoDB返回的数据进行WHERE操作，此时，已经无法避免对那些元组加锁了：InnoDB已经锁住那些元组，服务器无法解锁了。 来看个例子：

create table actor(actor_id int unsigned NOT NULL AUTO_INCREMENT,name        varchar(16) NOT NULL DEFAULT ”,

password        varchar(16) NOT NULL DEFAULT ”,

PRIMARY KEY(actor_id),

KEY     (name)

) ENGINE=InnoDB

insert into actor(name,password)   values(‘cat01′,’1234567′);

insert into actor(name,password) values(‘cat02′,’1234567′);

insert into actor(name,password)   values(‘ddddd’,’1234567′);

insert into actor(name,password)   values(‘aaaaa’,’1234567′);
SET AUTOCOMMIT=0;BEGIN;SELECT actor_id FROM actor WHERE actor_id   < 4

AND actor_id <> 1 FOR UPDATE;

该查询仅仅返回2—3的数据，实际已经对1—3的数据加上排它锁了。InnoDB锁住元组1是因为MySQL的查询计划仅使用索引进行范围查询（而没有进行过滤操作，WHERE中第二个条件已经无法使用索引了）：

 

mysql> EXPLAIN SELECT actor_id FROM   test.actor-> WHERE actor_id < 4 AND actor_id <> 1 FOR UPDATE \G*************************** 1. row   ***************************

id: 1

select_type: SIMPLE

table: actor

type: index

possible_keys: PRIMARY

key: PRIMARY

key_len: 4

ref: NULL

rows: 4

Extra: Using where; Using index

1 row in set (0.00 sec)

 

mysql>

表明存储引擎从索引的起始处开始，获取所有的行，直到actor_id<4为假，服务器无法告诉InnoDB去掉元组1。 为了证明row 1已经被锁住，我们另外建一个连接，执行如下操作：

SET AUTOCOMMIT=0;BEGIN;SELECT actor_id FROM actor WHERE actor_id   = 1 FOR UPDATE;

 

该查询会被挂起，直到第一个连接的事务提交释放锁时，才会执行（这种行为对于基于语句的复制(statement-based replication)是必要的）。 如上所示，当使用索引时，InnoDB会锁住它不需要的元组。更糟糕的是，如果查询不能使用索引，MySQL会进行全表扫描，并锁住每一个元组，不管是否真正需要。

]]> http://www.ben-wang.com/mysql-index.htm/feed 0 MYSQL 转 MSSQL http://www.ben-wang.com/mysql-2-mssql.htm http://www.ben-wang.com/mysql-2-mssql.htm#comments Mon, 23 Apr 2012 03:57:49 +0000 admin http://www.ben-wang.com/?p=43 MYSQL转MSSQL 的一个小工具

MySQL2MSSql

]]> http://www.ben-wang.com/mysql-2-mssql.htm/feed 0 正规方法去除Godaddy免费主机广告 无需代码 http://www.ben-wang.com/godaddy-free-space.htm http://www.ben-wang.com/godaddy-free-space.htm#comments Tue, 10 Apr 2012 03:05:45 +0000 admin http://www.ben-wang.com/?p=39 在Godaddy购买的每一个域名都会送一个配置为其Economy Plan(10G空间，300G月流量，支持PHP,ASP,.NET和MYSQL, MSSQL数据库)的带广告免费主机空间，无论是几美元的Com， Net还是首年只需几十美分的Info域名。Godaddy的主机还是不错的，稳定速度也不错，但是免费主机会带广告，这点有些不爽，网上关于 Godaddy免费空间去广告的方法很多，基本上都是利用CSS或Javascript进行屏蔽的，这样不安全，一般被Godaddy发现封掉你的账户你 就惨了。

其实有一种非常简单的正规方法可以去掉广告，无需代码，请看以下说明：

首先，申请开通的时候选Windows主机。如果不是，可以在后台进行更换或者干脆删除后重新申请。 ASP.Net版本选1.1，不要选新版本。IIS 先把7.0版本。注意：做到以上两点后，网页的广告就没有了。运行一般的PHP和Asp程序都没有问题（Net我没有试过），是不是超级简单，不违规哦， 因为你没有人为屏蔽它的广告，这样选择它不显示广告怪不得我们呵呵。

在用的时候你可能会发现有几个问题：首先，经常出现500错误；其次，Rewrite功能好像没有；另外，PHP中的allow url fopen函数没有支持，也就是采集等一些功能无法实现，安装一些程序也会出现问题（织梦等）。所以，我也找到了以下的解决办法。

用php5.ini文件配置PHP。下面是我的php5.ini内容，网上找的。这个可以解决那个allow url fopen问题，Zend的问题不能解决

register_globals = Off
allow_url_fopen = On
memory_limit = 50M
max_execution_time = 120
max_input_time = 60
post_max_size = 8M
file_uploads = On
upload_max_filesize = 128M
extension_dir = “c:\php5\ext”
extension=php_mysql.dll
extension=php_mysqli.dll
extension=php_pdo_mysql.dll
extension=php_gd2.dll
extension=php_sockets.dll
extension=php_mbstring.dll
session.save_path = “d:/temp/tmp”
session.use_cookies = 1
session.name = PHPSESSID
session.auto_start = 0
session.cookie_path = /
session.serialize_handler = php
url_rewriter.tags = “a=href,area=href,frame=src,input=src,form=,fieldset=”
[Zend]
zend_extension_manager.optimizer_ts=”D:\Hosting\5531605\html\lib\Optimizer-3.3.0″
zend_extension_ts=”D:\Hosting\5531605\html\lib\ZendExtensionManager.dll”

register_globals = Offallow_url_fopen = Onmemory_limit = 50Mmax_execution_time = 120max_input_time = 60post_max_size = 8Mfile_uploads = Onupload_max_filesize = 128Mextension_dir = “c:\php5\ext”extension=php_mysql.dllextension=php_mysqli.dllextension=php_

pdo_mysql.dllextension=php_gd2.dllextension=php_sockets.dllextension=

php_mbstring.dllsession.save_path = “d:/temp/tmp”session.use_cookies = 1session.name = PHPSESSIDsession.auto_start = 0session.cookie_path = /session.serialize_handler = phpurl_rewriter.tags = “a=href,area=href,frame=src,input=src,form=,fieldset=”[Zend]zend_extension_manager.optimizer_ts=”D:\Hosting\5531605\html\lib\Optimizer-3.3.0″zend_extension_ts=”D:\Hosting\5531605\html\lib\ZendExtensionManager.dll”

用web.config文件实现Url重写。

下面是web.config的内容，上传后，在程序里打开相应的功能就行了。wordpress Discuz Phpwind Php168 Dede我都度过了，完全可以。

<?xml version=”1.0″ encoding=”UTF-8″?>

<configuration>

<system.webServer>

<rewrite>

<rules>

<rule name=”Imported Rule 17″>

<match url=”^archiver/((fid|tid)-[\w\-]+\.html)$” ignoreCase=”false”/>

<action type=”Rewrite” url=”archiver/index.php?{R:1}” appendQueryString=”false”/>

</rule>

<rule name=”Imported Rule 18″>

<match url=”^forum-([0-9]+)-([0-9]+)\.html$” ignoreCase=”false”/>

<action type=”Rewrite” url=”forumdisplay.php?fid={R:1}&amp;page={R:2}” appendQueryString=”false”/>

</rule>

<rule name=”Imported Rule 19″>

<match url=”^thread-([0-9]+)-([0-9]+)-([0-9]+)\.html$” ignoreCase=”false”/>

<action type=”Rewrite” url=”viewthread.php?tid={R:1}&amp;extra=page\%3D{R:3}&amp;page={R:2}” appendQueryString=”false”/>

</rule>

<rule name=”Imported Rule 20″>

<match url=”^space-(username|uid)-(.+)\.html$” ignoreCase=”false”/>

<action type=”Rewrite” url=”space.php?{R:1}={R:2}” appendQueryString=”false”/>

</rule>

<rule name=”Imported Rule 21″>

<match url=”^tag-(.+)\.html$” ignoreCase=”false”/>

<action type=”Rewrite” url=”tag.php?name={R:1}” appendQueryString=”false”/>

</rule>

<rule name=”wordpress” patternSyntax=”Wildcard”>

<match url=”*”/>

<conditions>

<add input=”{REQUEST_FILENAME}” matchType=”IsFile” negate=”true”/>

<add input=”{REQUEST_FILENAME}” matchType=”IsDirectory” negate=”true”/>

</conditions>

<action type=”Rewrite” url=”index.php”/>

</rule>

</rules>

</rewrite>

<httpErrors errorMode=”Detailed”/>

<asp scriptErrorSentToBrowser=”true”/>

</system.webServer>

<system.web>

<customErrors mode=”Off”/>

<globalization requestEncoding=”utf-8″ responseEncoding=”utf-8″ fileEncoding=”utf-8″/>

</system.web>

</configuration>

至此问题解决了，好好享受Godaddy带给你的超级免费大餐吧。

]]> http://www.ben-wang.com/godaddy-free-space.htm/feed 0 正则表达式集 http://www.ben-wang.com/regular-expression.htm http://www.ben-wang.com/regular-expression.htm#comments Tue, 27 Mar 2012 08:01:32 +0000 admin http://www.ben-wang.com/?p=28 验证数字：^[0-9]*$
验证n位的数字：^\d{n}$
验证至少n位数字：^\d{n,}$
验证m-n位的数字：^\d{m,n}$
验证零和非零开头的数字：^(0|[1-9][0-9]*)$
验证有两位小数的正实数：^[0-9]+(.[0-9]{2})?$
验证有1-3位小数的正实数：^[0-9]+(.[0-9]{1,3})?$
验证非零的正整数：^\+?[1-9][0-9]*$
验证非零的负整数：^\-[1-9][0-9]*$
验证非负整数（正整数 + 0） ^\d+$
验证非正整数（负整数 + 0） ^((-\d+)|(0+))$
验证长度为3的字符：^.{3}$
验证由26个英文字母组成的字符串：^[A-Za-z]+$
验证由26个大写英文字母组成的字符串：^[A-Z]+$
验证由26个小写英文字母组成的字符串：^[a-z]+$
验证由数字和26个英文字母组成的字符串：^[A-Za-z0-9]+$
验证由数字、26个英文字母或者下划线组成的字符串：^\w+$
验证用户密码:^[a-zA-Z]\w{5,17}$ 正确格式为：以字母开头，长度在6-18之间，只能包含字符、数字和下划线。
验证是否含有 ^%&’,;=?$\” 等字符：[^%&',;=?$\x22]+
验证汉字：^[\u4e00-\u9fa5],{0,}$
验证Email地址：^\w+[-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$
验证InternetURL：^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$ ；^[a-zA-z]+://(w+(-w+)*)(.(w+(-w+)*))*(?S*)?$
验证电话号码：^(\(\d{3,4}\)|\d{3,4}-)?\d{7,8}$：–正确格式为：XXXX-XXXXXXX，XXXX-XXXXXXXX，XXX-XXXXXXX，XXX-XXXXXXXX，XXXXXXX，XXXXXXXX。
验证身份证号（15位或18位数字）：^\d{15}|\d{}18$
验证一年的12个月：^(0?[1-9]|1[0-2])$ 正确格式为：“01”-“09”和“1”“12”
验证一个月的31天：^((0?[1-9])|((1|2)[0-9])|30|31)$ 正确格式为：01、09和1、31。
整数：^-?\d+$
非负浮点数（正浮点数 + 0）：^\d+(\.\d+)?$
正浮点数 ^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$
非正浮点数（负浮点数 + 0） ^((-\d+(\.\d+)?)|(0+(\.0+)?))$
负浮点数 ^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$
浮点数 ^(-?\d+)(\.\d+)?$

]]> http://www.ben-wang.com/regular-expression.htm/feed 0 IIS7 URL Rewrite http://www.ben-wang.com/iis7-url-rewrite.htm http://www.ben-wang.com/iis7-url-rewrite.htm#comments Tue, 27 Mar 2012 07:56:23 +0000 admin http://www.ben-wang.com/?p=16 12245250_1 12245250_2 12245250_3 12245250_4 12245250_5 12245250_6 12245250_7 ]]> http://www.ben-wang.com/iis7-url-rewrite.htm/feed 0 Get distance between 2 GPS http://www.ben-wang.com/get-distance-between-2-gps.htm http://www.ben-wang.com/get-distance-between-2-gps.htm#comments Sat, 24 Dec 2011 04:13:24 +0000 admin http://www.ben-wang.com/?p=9

<%
x1=39.9918928
y1=116.3099544

x2=41.8326865
y2=123.4038186

Const EARTH_RADIUS = 6378.137
Const Pi = 3.1415926535898

Function rad(d)
rad = d * Pi / 180
End Function

Function GetDistance(lat1, lng1, lat2, lng2)
Dim radlat1, radlat2
Dim a, b, s, Temp
radlat1 = rad(lat1)
radlat2 = rad(lat2)
a = radlat1 – radlat2
b = rad(lng1) – rad(lng2)
Temp = Sqr(Sin(a / 2) ^ 2 + Cos(radlat1) * Cos(radlat2) * Sin(b / 2) ^ 2)
s = 2 * Atn(Temp / Sqr(-Temp * Temp + 1))
s = s * EARTH_RADIUS
GetDistance = s
End Function

response.write GetDistance(x1,y1,x2,y2)
%>

]]> http://www.ben-wang.com/get-distance-between-2-gps.htm/feed 0 SQL skill http://www.ben-wang.com/sql-skill.htm http://www.ben-wang.com/sql-skill.htm#comments Wed, 14 Dec 2011 19:29:30 +0000 admin http://boliba.com/ben/?p=1 copy table:

select * into table2 (select * from table1) c

update table:

update a
set a.id = b.qID
from v3_group a join qun2 b on a.groupid = b.groupid

]]> http://www.ben-wang.com/sql-skill.htm/feed 0